Repérer les références inventées par l'IA avant de soumettre : la sanction d'arXiv et un vérificateur de .bib
Pour repérer les références inventées par l'IA avant de soumettre, procédez en trois passes : listez uniquement les entrées réellement citées dans votre texte, vérifiez en masse leurs DOI et leurs titres auprès de Crossref, puis ouvrez chaque entrée signalée et contrôlez-la à la main. Une compilation sans erreur ne prouve rien ici. Une entrée .bib inventée s'affiche dans la bibliographie comme n'importe quelle autre, et le log reste muet. Cherchez aussi dans vos sources les phrases laissées par un modèle de langage, comme « voici un résumé » ou « remplacez par les vrais chiffres ». Cet article fournit un script Python prêt à copier et des commandes de recherche ; tous les exemples ont été exécutés avant publication.
Ce que fait désormais arXiv face aux références inventées
En mai 2026, Thomas Dietterich, président de la section informatique d'arXiv, a présenté la sanction sur X, puis l'a confirmée à Nature : si une soumission contient « une preuve incontestable que les auteurs n'ont pas vérifié les résultats générés par un LLM », tous les auteurs sont bannis pendant un an. Ensuite, toute nouvelle soumission à arXiv doit d'abord avoir été acceptée dans une revue ou une conférence à comité de lecture reconnue.
Il a cité deux types de preuves en exemple :
- Les références hallucinées.
- Les méta-commentaires du LLM, comme « here is a 200 word summary; would you like me to make any changes? » ou « the data in this table is illustrative, fill it in with the real numbers from your experiments ».
Selon 404 Media, un modérateur doit d'abord documenter le problème et le président de section doit le confirmer avant qu'un bannissement soit prononcé, et les auteurs peuvent faire appel. La règle a été annoncée via les réseaux sociaux et des entretiens avec la presse. Sur la page de modération d'arXiv, le fondement correspondant est que les auteurs assument l'entière responsabilité de tout le contenu, y compris les « références incorrectes » produites par une IA générative, et qu'« une rigueur et un soin généraux dans la préparation sont exigés ».
Pour donner un ordre de grandeur, Zhao et al. (parmi lesquels figure Paul Ginsparg, fondateur d'arXiv) ont audité 111 millions de références dans 2,5 millions d'articles issus d'arXiv, bioRxiv, SSRN et PubMed Central. Ils estiment, de manière prudente, à 146 932 le nombre de citations hallucinées dans ces quatre corpus en 2025. Ils estiment aussi qu'environ 78,8 % des citations inexistantes ont passé la modération d'arXiv et que 85,3 % de ces citations dans les preprints bioRxiv se sont retrouvées dans les versions publiées. L'étude est un preprint, et sa méthode ne détecte que les références dont le titre n'existe pas. Les articles réels cités pour des affirmations qu'ils ne contiennent pas sont plus difficiles à repérer automatiquement.
À quoi ressemblent les références inventées
| Type | Indices | Détecté par une vérification automatique ? |
|---|---|---|
| Inventée | Titre et auteurs plausibles, mais l'article est introuvable ; le DOI ne fonctionne pas | Oui : le DOI renvoie 404 ou le titre n'a aucune correspondance |
| Hybride | Un vrai DOI qui pointe vers un autre article, souvent avec des auteurs réels et connus | Oui : le titre associé au DOI diffère de l'entrée |
| Mal attribuée | L'article existe, mais l'année, la revue ou le volume sont faux | En partie : comparez l'année et les autres champs |
| Affirmation non étayée | L'article est réel mais ne dit pas ce pour quoi vous le citez | Non : il faut lire la source |
Une année erronée isolée relève généralement d'un problème de métadonnées, pas d'une invention. Les versions fusionnées dans Google Scholar et une extraction défaillante depuis un PDF produisent ce genre d'écarts.
Étape 1 : listez uniquement les entrées réellement citées
Un fichier .bib contient souvent des entrées héritées d'anciens projets qui n'apparaissent jamais dans le PDF. Compilez une fois, puis extrayez les clés citées du fichier .aux :
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -uCela fonctionne avec BibTeX classique (\bibliography{refs}). Avec biblatex et Biber, le fichier .aux ne contient pas ces enregistrements ; vérifiez le .bib entier ou regardez les entrées que Biber a écrites dans le fichier .bbl. Les clés citées mais absentes du .bib apparaissent sous la forme Citation undefined dans le log ; voir comment vérifier les citations d'un article LaTeX.
Étape 2 : vérifiez les entrées en masse auprès de Crossref
Crossref propose une API REST publique et gratuite. Le script ci-dessous n'utilise que la bibliothèque standard de Python et effectue deux vérifications par entrée :
- Avec un DOI : il interroge
api.crossref.org/works/{DOI}. Un DOI inconnu renvoie 404 ; un DOI connu est comparé, par son titre, à votre entrée.bib. - Sans DOI : il lance une recherche bibliographique sur le titre, les auteurs et l'année, et compare le résultat le plus proche.
- Dès que la similarité des titres atteint 0.9, l'année est également comparée.
Enregistrez-le sous checkbib.py et remplacez MAILTO par votre adresse e-mail. Crossref demande aux clients d'indiquer un contact, ce qui oriente les requêtes vers son pool « polite », plus fiable.
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)Lancez-le ainsi :
python3 checkbib.py refs.bib main.aux # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib # every entry in the .bibLe script envoie une requête par seconde : quelques dizaines de références prennent donc une à deux minutes. Il analyse le .bib avec des expressions régulières et gère la disposition habituelle field = {value},. Si une valeur contient des accolades très imbriquées ou une mise en ligne inhabituelle, le titre risque de ne pas être lu, et l'entrée est signalée pour vérification.
À quoi ressemble la sortie
Nous avons créé un .bib de test avec cinq entrées : trois articles réels, un article inventé (auteurs Smith et Chen, avec un DOI au format de Nature Machine Intelligence) et une entrée hybride qui reprend le DOI de la revue de LeCun et al. parue dans Nature en 2015 en l'associant à un titre inexistant. Compilées avec pdfLaTeX et BibTeX, les cinq entrées sont apparues dans la bibliographie, et le log ne contenait aucun avertissement. Sortie du script le 17 novembre 2026 :
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539Les deux entrées inventées ont été repérées. La première ligne mérite qu'on s'y arrête : Attention Is All You Need est un vrai article, mais les actes de NeurIPS n'ont pas de DOI Crossref ; la recherche par titre a donc trouvé un autre enregistrement datant de 2025, et le contrôle de l'année s'est déclenché. C'est fréquent pour les articles de conférence, les preprints arXiv et les chapitres d'ouvrage. Servez-vous de la sortie pour décider quoi vérifier en priorité. Un signalement ne signifie pas une invention, et OK signifie seulement que le titre, le DOI et l'année concordent.
Étape 3 : vérifiez à la main les entrées signalées
Pour chaque entrée CHECK :
- Ouvrez
https://doi.org/suivi du DOI et comparez le titre et les auteurs de la page d'arrivée avec votre entrée. - Sans DOI, cherchez le titre exact entre guillemets sur Google Scholar, Semantic Scholar, DBLP (informatique), PubMed (biomédecine) ou arXiv. Pour les articles de conférence, fiez-vous au site de la conférence ou à DBLP.
- Si vous le trouvez, corrigez l'entrée : ajoutez le bon DOI, la bonne année et la bonne revue ou conférence. Exportez le BibTeX depuis la page de l'éditeur plutôt que de le modifier à la main.
- Si vous ne le trouvez pas, supprimez-la ou remplacez-la. Ne gardez pas une référence qui « existe probablement ». Si elle étaye une affirmation clé, revenez à des sources que vous avez réellement lues.
- Vérifiez l'affirmation. Ouvrez l'article et confirmez qu'il étaye la phrase que vous avez écrite. Aucun script ne peut le faire ; la fiche de suivi de comment vérifier un article scientifique peut vous aider.
Faites passer par ces cinq étapes toutes les entrées de votre .bib suggérées ou rédigées par un outil d'IA, quel que soit le verdict du script.
Étape 4 : supprimez les phrases laissées par le modèle
Le second type de preuve cité par arXiv, ce sont les méta-commentaires. On les trouve souvent au début ou à la fin de paragraphes recollés dans LaTeX, dans les notes de tableaux et dans les légendes. À la racine du projet, lancez :
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .Sur un fichier de test, cette commande a trouvé « Here is a 200-word summary… Would you like me to make any changes? », « The data in this table is illustrative; fill it in with the real numbers. », la valeur fictive XX.X\%, [citation needed] et un commentaire % TODO, sans signaler la phrase ordinaire. Pour les manuscrits dans d'autres langues, ajoutez les expressions équivalentes.
Examinez chaque résultat : des mots comme illustrative ou placeholder peuvent être légitimes. Les commentaires commençant par % n'apparaissent pas dans le PDF, mais arXiv publie vos sources : supprimez-les avant de soumettre.
Enfin, vérifiez que chaque chiffre de vos tableaux et figures provient de vos relevés d'expériences. Un modèle qui remplit un tableau peut y insérer des valeurs d'exemple plausibles. grep ne peut pas le détecter ; seule une comparaison avec les données brutes le permet.
Le faire dans EasyLaTeX
- Le panneau IA à droite de l'éditeur (mode Chat) peut lire les fichiers
.texet.bibde votre projet. Demandez-lui de lister les clés citées, de signaler les entrées sans DOI ou avec des champs manquants, et de repérer les phrases qui ressemblent à des méta-commentaires. Le panneau n'a pas accès au web : il ne peut donc pas savoir si un article existe. - Pour vérifier qu'une référence existe, utilisez l'Academic Agent de la page d'accueil de la plateforme. Il peut chercher sur le web et consulter la littérature, ce qui convient pour contrôler une à une les entrées signalées.
- Lorsque vous laissez le mode Agent modifier le
.bib, vous pouvez accepter ou refuser chaque modification. Avant d'ajouter un DOI ou de changer une année, ouvrez vous-même la page de l'éditeur.
Le script Python s'exécute en local : téléchargez les sources de votre projet depuis EasyLaTeX et lancez-le sur votre machine. Quels que soient les outils utilisés, tous les auteurs restent responsables des références.
Liste de contrôle avant soumission
- Le projet compile et le log ne contient aucun
Citation undefined. - Toutes les références citées ont été vérifiées auprès de Crossref, et chaque entrée
CHECKa été contrôlée à la main. - Toutes les références suggérées ou rédigées par l'IA ont été ouvertes et confirmées.
- Vous avez lu les passages qui étayent vos affirmations clés.
- Les sources ne contiennent ni méta-commentaires, ni chiffres fictifs, ni
TODO. - L'usage de l'IA est déclaré comme l'exige la revue ou la conférence ; voir les déclarations d'usage de l'IA dans les articles scientifiques.
Références
- Nature. Researchers who use hallucinated references to face arXiv ban (19 mai 2026).
- The Verge. ArXiv will ban researchers who upload papers full of AI slop (15 mai 2026 ; cite le message de Dietterich).
- arXiv. Content Moderation (inclut la politique relative à l'IA générative).
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations (arXiv:2605.07723, preprint).
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge? (3 novembre 2026, mis à jour le 12 novembre).
- Crossref. REST API documentation.