KI-erfundene Literaturangaben vor der Einreichung finden: die arXiv-Sperre und ein .bib-Prüfskript
Um KI-erfundene Literaturangaben vor der Einreichung zu finden, gehen Sie in drei Durchgängen vor: Listen Sie nur die Einträge auf, die Ihr Text tatsächlich zitiert, gleichen Sie deren DOIs und Titel gesammelt mit Crossref ab, und öffnen und prüfen Sie dann jeden markierten Eintrag von Hand. Ein fehlerfreier Kompiliervorgang beweist hier nichts. Ein erfundener .bib-Eintrag erscheint im Literaturverzeichnis wie jeder andere, und das Log bleibt stumm. Durchsuchen Sie Ihren Quelltext außerdem nach Sätzen, die ein Sprachmodell hinterlassen hat, etwa „hier ist eine Zusammenfassung“ oder „bitte die echten Zahlen eintragen“. Dieser Artikel enthält ein kopierfertiges Python-Skript und Suchbefehle; alle Beispiele wurden vor der Veröffentlichung ausgeführt.
Wie arXiv jetzt mit erfundenen Literaturangaben umgeht
Im Mai 2026 erläuterte Thomas Dietterich, Vorsitzender der Informatik-Sektion von arXiv, die Sanktion auf X und bestätigte sie später gegenüber Nature: Enthält eine Einreichung „unwiderlegbare Belege dafür, dass die Autoren die Ergebnisse der LLM-Generierung nicht überprüft haben“, werden alle Autorinnen und Autoren für ein Jahr gesperrt. Nach Ablauf der Sperre muss jede neue arXiv-Einreichung zuvor bei einem angesehenen Peer-Review-Publikationsorgan angenommen worden sein.
Als Beispiele nannte er zwei Arten von Belegen:
- Halluzinierte Literaturangaben.
- Metakommentare des LLM, etwa „here is a 200 word summary; would you like me to make any changes?“ oder „the data in this table is illustrative, fill it in with the real numbers from your experiments“.
Laut 404 Media muss zunächst ein Moderator das Problem dokumentieren und der Sektionsvorsitzende es bestätigen, bevor eine Sperre verhängt wird; die Betroffenen können Einspruch einlegen. Angekündigt wurde die Regel über soziale Medien und Presseinterviews. Auf der Moderationsseite von arXiv selbst stützt sie sich darauf, dass die Autoren die volle Verantwortung für alle Inhalte tragen, einschließlich „fehlerhafter Literaturangaben“, die durch generative KI entstanden sind, und dass „allgemeine Gewissenhaftigkeit und Sorgfalt bei der Erstellung erforderlich“ sind.
Zur Größenordnung: Zhao et al. (zu den Autoren gehört arXiv-Gründer Paul Ginsparg) haben 111 Millionen Literaturangaben in 2,5 Millionen Arbeiten aus arXiv, bioRxiv, SSRN und PubMed Central untersucht. Sie schätzen konservativ 146.932 halluzinierte Zitate in diesen vier Korpora im Jahr 2025. Zudem schätzen sie, dass etwa 78,8 % der nicht existierenden Zitate die arXiv-Moderation passierten und 85,3 % solcher Zitate in bioRxiv-Preprints bis in die veröffentlichten Fassungen gelangten. Die Studie ist ein Preprint, und ihre Methode erkennt nur Angaben mit nicht existierenden Titeln. Echte Arbeiten, die für Aussagen zitiert werden, die sie gar nicht treffen, lassen sich automatisch schwerer finden.
Woran man erfundene Literaturangaben erkennt
| Typ | Anzeichen | Durch automatische Prüfung erkannt? |
|---|---|---|
| Erfunden | Plausibler Titel und plausible Autoren, aber die Arbeit ist nicht auffindbar; die DOI löst nicht auf | Ja: Die DOI liefert 404 oder der Titel hat keinen Treffer |
| Zusammengestückelt | Eine echte DOI, die auf eine andere Arbeit verweist, oft mit bekannten realen Autoren | Ja: Der Titel zur DOI weicht vom Eintrag ab |
| Falsch zugeordnet | Die Arbeit existiert, aber Jahr, Publikationsorgan oder Band stimmen nicht | Teilweise: Jahr und weitere Felder vergleichen |
| Nicht gestützte Aussage | Die Arbeit ist echt, sagt aber nicht das, wofür Sie sie zitieren | Nein: Sie müssen die Quelle lesen |
Ein einzelnes falsches Jahr ist meist ein Metadatenproblem und keine Erfindung. Zusammengeführte Versionen in Google Scholar und fehlerhafte Extraktion aus PDFs erzeugen solche Abweichungen.
Schritt 1: Nur die tatsächlich zitierten Einträge auflisten
Eine .bib-Datei schleppt oft Einträge aus älteren Projekten mit, die nie im PDF auftauchen. Kompilieren Sie einmal und lesen Sie dann die zitierten Keys aus der .aux-Datei aus:
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -uDas funktioniert mit klassischem BibTeX (\bibliography{refs}). Bei biblatex mit Biber enthält die .aux-Datei diese Einträge nicht; prüfen Sie dann die gesamte .bib oder die Einträge, die Biber in die .bbl-Datei geschrieben hat. Keys, die zitiert werden, aber in der .bib fehlen, erscheinen im Log als Citation undefined; siehe Zitate in einem LaTeX-Paper prüfen.
Schritt 2: Einträge gesammelt mit Crossref abgleichen
Crossref bietet eine kostenlose öffentliche REST-API. Das folgende Skript nutzt nur die Python-Standardbibliothek und führt pro Eintrag zwei Prüfungen durch:
- Mit DOI: Abfrage von
api.crossref.org/works/{DOI}. Eine unbekannte DOI liefert 404; bei einer bekannten wird der Titel mit Ihrem.bib-Eintrag verglichen. - Ohne DOI: Eine bibliografische Suche nach Titel, Autoren und Jahr; das ähnlichste Ergebnis wird verglichen.
- Erreicht die Titelähnlichkeit 0.9, wird zusätzlich das Jahr verglichen.
Speichern Sie es als checkbib.py und ersetzen Sie MAILTO durch Ihre E-Mail-Adresse. Crossref bittet Clients um Kontaktangaben; solche Anfragen landen im zuverlässigeren „polite“-Pool.
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)So rufen Sie es auf:
python3 checkbib.py refs.bib main.aux # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib # every entry in the .bibDas Skript sendet eine Anfrage pro Sekunde, einige Dutzend Literaturangaben dauern also ein bis zwei Minuten. Es liest die .bib mit regulären Ausdrücken ein und versteht das übliche Format field = {value},. Enthält ein Wert tief verschachtelte Klammern oder ist ungewöhnlich umbrochen, wird der Titel unter Umständen nicht erkannt, und der Eintrag wird zur Prüfung markiert.
So sieht die Ausgabe aus
Wir haben eine Test-.bib mit fünf Einträgen angelegt: drei echte Arbeiten, eine erfundene (Autoren Smith und Chen, mit einer DOI im Format von Nature Machine Intelligence) und ein zusammengestückelter Eintrag, der die DOI des Nature-Reviews von LeCun et al. aus dem Jahr 2015 mit einem nicht existierenden Titel kombiniert. Mit pdfLaTeX und BibTeX kompiliert, erschienen alle fünf im Literaturverzeichnis, und das Log enthielt keine Warnungen. Ausgabe des Skripts am 17. November 2026:
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539Beide erfundenen Einträge wurden erkannt. Die erste Zeile verdient Aufmerksamkeit: Attention Is All You Need ist eine echte Arbeit, doch die NeurIPS-Proceedings haben keine Crossref-DOI. Die Titelsuche traf daher einen anderen Datensatz aus dem Jahr 2025, und die Jahresprüfung schlug an. Das kommt bei Konferenzbeiträgen, arXiv-Preprints und Buchkapiteln häufig vor. Nutzen Sie die Ausgabe, um zu entscheiden, was Sie zuerst prüfen. Eine Markierung bedeutet keine Erfindung, und OK heißt nur, dass Titel, DOI und Jahr übereinstimmen.
Schritt 3: Markierte Einträge von Hand prüfen
Für jeden CHECK-Eintrag:
- Öffnen Sie
https://doi.org/gefolgt von der DOI und vergleichen Sie Titel und Autoren der Zielseite mit Ihrem Eintrag. - Ohne DOI suchen Sie den exakten Titel in Anführungszeichen in Google Scholar, Semantic Scholar, DBLP (Informatik), PubMed (Biomedizin) oder arXiv. Bei Konferenzbeiträgen verlassen Sie sich auf die Konferenzwebsite oder DBLP.
- Wenn Sie die Arbeit finden, korrigieren Sie den Eintrag: Ergänzen Sie korrekte DOI, Jahr und Publikationsorgan. Exportieren Sie das BibTeX von der Verlagsseite, statt es von Hand zu bearbeiten.
- Wenn Sie sie nicht finden, löschen oder ersetzen Sie den Eintrag. Behalten Sie keine Angabe, die „wahrscheinlich existiert“. Stützt sie eine zentrale Aussage, greifen Sie auf Quellen zurück, die Sie tatsächlich gelesen haben.
- Prüfen Sie die Aussage. Öffnen Sie die Arbeit und vergewissern Sie sich, dass sie den von Ihnen geschriebenen Satz stützt. Das kann kein Skript; der Protokollbogen aus eine wissenschaftliche Arbeit überprüfen hilft dabei.
Schicken Sie jeden Eintrag Ihrer .bib, den ein KI-Werkzeug vorgeschlagen oder geschrieben hat, durch alle fünf Schritte – egal, was das Skript meldet.
Schritt 4: Vom Modell hinterlassene Sätze entfernen
Die zweite Art von Belegen, die arXiv nennt, sind Metakommentare. Sie stehen meist am Anfang oder Ende von Absätzen, die zurück in LaTeX kopiert wurden, in Tabellenanmerkungen und in Bildunterschriften. Führen Sie im Projektstammverzeichnis aus:
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .In einer Testdatei fand dieser Befehl „Here is a 200-word summary… Would you like me to make any changes?“, „The data in this table is illustrative; fill it in with the real numbers.“, den Platzhalter XX.X\%, [citation needed] und einen % TODO-Kommentar, ohne den gewöhnlichen Satz zu markieren. Für Manuskripte in anderen Sprachen ergänzen Sie die entsprechenden Formulierungen.
Prüfen Sie jeden Treffer: Wörter wie illustrative oder placeholder können durchaus berechtigt sein. Kommentare, die mit % beginnen, erscheinen nicht im PDF, aber arXiv veröffentlicht Ihren Quelltext – entfernen Sie sie also vor der Einreichung.
Prüfen Sie zum Schluss, ob jede Zahl in Ihren Tabellen und Abbildungen aus Ihren Versuchsaufzeichnungen stammt. Ein Modell, das eine Tabelle ausfüllt, kann plausible Beispielwerte einsetzen. grep findet das nicht; das gelingt nur durch den Abgleich mit den Rohdaten.
So geht es in EasyLaTeX
- Das KI-Panel rechts im Editor (Chat-Modus) kann die
.tex- und.bib-Dateien Ihres Projekts lesen. Bitten Sie es, die zitierten Keys aufzulisten, Einträge ohne DOI oder mit fehlenden Feldern zu nennen und Sätze zu finden, die nach Metakommentaren aussehen. Das Panel hat keinen Webzugriff und kann daher nicht feststellen, ob eine Arbeit existiert. - Ob eine Literaturangabe existiert, prüfen Sie mit dem Academic Agent auf der Startseite der Plattform. Er kann im Web suchen und Literatur recherchieren und eignet sich damit, markierte Einträge einzeln zu prüfen.
- Wenn Sie den Agent-Modus die
.bibbearbeiten lassen, können Sie jede Änderung annehmen oder ablehnen. Bevor Sie eine DOI ergänzen oder ein Jahr ändern, öffnen Sie selbst die Verlagsseite.
Das Python-Skript läuft lokal: Laden Sie den Quelltext Ihres Projekts aus EasyLaTeX herunter und führen Sie es dort aus. Unabhängig von den eingesetzten Werkzeugen bleiben alle Autorinnen und Autoren für die Literaturangaben verantwortlich.
Checkliste vor der Einreichung
- Das Projekt kompiliert, und das Log enthält kein
Citation undefined. - Jede zitierte Literaturangabe wurde mit Crossref abgeglichen, und jeder
CHECK-Eintrag wurde von Hand geprüft. - Jede von KI vorgeschlagene oder geschriebene Literaturangabe wurde geöffnet und bestätigt.
- Sie haben die Passagen gelesen, die Ihre zentralen Aussagen stützen.
- Der Quelltext enthält keine Metakommentare, Platzhalterzahlen oder
TODOs. - Die KI-Nutzung ist so offengelegt, wie es das Publikationsorgan verlangt; siehe KI-Offenlegungserklärungen für wissenschaftliche Arbeiten.
Quellen
- Nature. Researchers who use hallucinated references to face arXiv ban (19. Mai 2026).
- The Verge. ArXiv will ban researchers who upload papers full of AI slop (15. Mai 2026; zitiert Dietterichs Beitrag).
- arXiv. Content Moderation (enthält die Richtlinie zu generativer KI).
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations (arXiv:2605.07723, Preprint).
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge? (3. November 2026, aktualisiert am 12. November).
- Crossref. REST API documentation.