Repérer les références inventées par l'IA avant de soumettre : la sanction d'arXiv et un vérificateur de .bib

BlogEasyLaTeXPublié le

Pour repérer les références inventées par l'IA avant de soumettre, procédez en trois passes : listez uniquement les entrées réellement citées dans votre texte, vérifiez en masse leurs DOI et leurs titres auprès de Crossref, puis ouvrez chaque entrée signalée et contrôlez-la à la main. Une compilation sans erreur ne prouve rien ici. Une entrée .bib inventée s'affiche dans la bibliographie comme n'importe quelle autre, et le log reste muet. Cherchez aussi dans vos sources les phrases laissées par un modèle de langage, comme « voici un résumé » ou « remplacez par les vrais chiffres ». Cet article fournit un script Python prêt à copier et des commandes de recherche ; tous les exemples ont été exécutés avant publication.

Ce que fait désormais arXiv face aux références inventées

En mai 2026, Thomas Dietterich, président de la section informatique d'arXiv, a présenté la sanction sur X, puis l'a confirmée à Nature : si une soumission contient « une preuve incontestable que les auteurs n'ont pas vérifié les résultats générés par un LLM », tous les auteurs sont bannis pendant un an. Ensuite, toute nouvelle soumission à arXiv doit d'abord avoir été acceptée dans une revue ou une conférence à comité de lecture reconnue.

Il a cité deux types de preuves en exemple :

  • Les références hallucinées.
  • Les méta-commentaires du LLM, comme « here is a 200 word summary; would you like me to make any changes? » ou « the data in this table is illustrative, fill it in with the real numbers from your experiments ».

Selon 404 Media, un modérateur doit d'abord documenter le problème et le président de section doit le confirmer avant qu'un bannissement soit prononcé, et les auteurs peuvent faire appel. La règle a été annoncée via les réseaux sociaux et des entretiens avec la presse. Sur la page de modération d'arXiv, le fondement correspondant est que les auteurs assument l'entière responsabilité de tout le contenu, y compris les « références incorrectes » produites par une IA générative, et qu'« une rigueur et un soin généraux dans la préparation sont exigés ».

Pour donner un ordre de grandeur, Zhao et al. (parmi lesquels figure Paul Ginsparg, fondateur d'arXiv) ont audité 111 millions de références dans 2,5 millions d'articles issus d'arXiv, bioRxiv, SSRN et PubMed Central. Ils estiment, de manière prudente, à 146 932 le nombre de citations hallucinées dans ces quatre corpus en 2025. Ils estiment aussi qu'environ 78,8 % des citations inexistantes ont passé la modération d'arXiv et que 85,3 % de ces citations dans les preprints bioRxiv se sont retrouvées dans les versions publiées. L'étude est un preprint, et sa méthode ne détecte que les références dont le titre n'existe pas. Les articles réels cités pour des affirmations qu'ils ne contiennent pas sont plus difficiles à repérer automatiquement.

À quoi ressemblent les références inventées

TypeIndicesDétecté par une vérification automatique ?
InventéeTitre et auteurs plausibles, mais l'article est introuvable ; le DOI ne fonctionne pasOui : le DOI renvoie 404 ou le titre n'a aucune correspondance
HybrideUn vrai DOI qui pointe vers un autre article, souvent avec des auteurs réels et connusOui : le titre associé au DOI diffère de l'entrée
Mal attribuéeL'article existe, mais l'année, la revue ou le volume sont fauxEn partie : comparez l'année et les autres champs
Affirmation non étayéeL'article est réel mais ne dit pas ce pour quoi vous le citezNon : il faut lire la source

Une année erronée isolée relève généralement d'un problème de métadonnées, pas d'une invention. Les versions fusionnées dans Google Scholar et une extraction défaillante depuis un PDF produisent ce genre d'écarts.

Étape 1 : listez uniquement les entrées réellement citées

Un fichier .bib contient souvent des entrées héritées d'anciens projets qui n'apparaissent jamais dans le PDF. Compilez une fois, puis extrayez les clés citées du fichier .aux :

Shell
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u

Cela fonctionne avec BibTeX classique (\bibliography{refs}). Avec biblatex et Biber, le fichier .aux ne contient pas ces enregistrements ; vérifiez le .bib entier ou regardez les entrées que Biber a écrites dans le fichier .bbl. Les clés citées mais absentes du .bib apparaissent sous la forme Citation undefined dans le log ; voir comment vérifier les citations d'un article LaTeX.

Étape 2 : vérifiez les entrées en masse auprès de Crossref

Crossref propose une API REST publique et gratuite. Le script ci-dessous n'utilise que la bibliothèque standard de Python et effectue deux vérifications par entrée :

  • Avec un DOI : il interroge api.crossref.org/works/{DOI}. Un DOI inconnu renvoie 404 ; un DOI connu est comparé, par son titre, à votre entrée .bib.
  • Sans DOI : il lance une recherche bibliographique sur le titre, les auteurs et l'année, et compare le résultat le plus proche.
  • Dès que la similarité des titres atteint 0.9, l'année est également comparée.

Enregistrez-le sous checkbib.py et remplacez MAILTO par votre adresse e-mail. Crossref demande aux clients d'indiquer un contact, ce qui oriente les requêtes vers son pool « polite », plus fiable.

Python
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.request​MAILTO = "you@example.org"  # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"​def entries(text):    for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S):        if m.group(1).lower() in ("comment", "string", "preamble"):            continue        f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip())                 for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M))        yield m.group(2), f​def get(url):    req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"})    with urllib.request.urlopen(req, timeout=30) as r:        return json.load(r)["message"]​def sim(a, b):    norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower())    return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()​bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2:  # only check keys that BibTeX actually used    aux = open(sys.argv[2], encoding="utf-8").read()    cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}​for key, f in entries(bib):    if cited is not None and key not in cited and "*" not in cited:        continue    title, doi = f.get("title", ""), f.get("doi", "")    try:        if doi:            w = get(f"{API}/{urllib.parse.quote(doi)}")            s = sim(title, (w.get("title") or [""])[0])            status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs"        else:            q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1})            items = get(f"{API}?{q}")["items"]            w = items[0] if items else {}            s = sim(title, (w.get("title") or [""])[0])            status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match"    except urllib.error.HTTPError as e:        w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}"    year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0]    if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]:        status = "CHECK: year differs"    print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}")    time.sleep(1)

Lancez-le ainsi :

Shell
python3 checkbib.py refs.bib main.aux   # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib            # every entry in the .bib

Le script envoie une requête par seconde : quelques dizaines de références prennent donc une à deux minutes. Il analyse le .bib avec des expressions régulières et gère la disposition habituelle field = {value},. Si une valeur contient des accolades très imbriquées ou une mise en ligne inhabituelle, le titre risque de ne pas être lu, et l'entrée est signalée pour vérification.

À quoi ressemble la sortie

Nous avons créé un .bib de test avec cinq entrées : trois articles réels, un article inventé (auteurs Smith et Chen, avec un DOI au format de Nature Machine Intelligence) et une entrée hybride qui reprend le DOI de la revue de LeCun et al. parue dans Nature en 2015 en l'associant à un titre inexistant. Compilées avec pdfLaTeX et BibTeX, les cinq entrées sont apparues dans la bibliographie, et le log ne contenait aucun avertissement. Sortie du script le 17 novembre 2026 :

Plain text
CHECK: year differs                    vaswani2017            sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK                                     he2016                 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK                                     lecun2015              sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found                   smith2023fake          sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs    mixed2015              sim=0.32 crossref_year=2015 doi=10.1038/nature14539

Les deux entrées inventées ont été repérées. La première ligne mérite qu'on s'y arrête : Attention Is All You Need est un vrai article, mais les actes de NeurIPS n'ont pas de DOI Crossref ; la recherche par titre a donc trouvé un autre enregistrement datant de 2025, et le contrôle de l'année s'est déclenché. C'est fréquent pour les articles de conférence, les preprints arXiv et les chapitres d'ouvrage. Servez-vous de la sortie pour décider quoi vérifier en priorité. Un signalement ne signifie pas une invention, et OK signifie seulement que le titre, le DOI et l'année concordent.

Étape 3 : vérifiez à la main les entrées signalées

Pour chaque entrée CHECK :

  1. Ouvrez https://doi.org/ suivi du DOI et comparez le titre et les auteurs de la page d'arrivée avec votre entrée.
  2. Sans DOI, cherchez le titre exact entre guillemets sur Google Scholar, Semantic Scholar, DBLP (informatique), PubMed (biomédecine) ou arXiv. Pour les articles de conférence, fiez-vous au site de la conférence ou à DBLP.
  3. Si vous le trouvez, corrigez l'entrée : ajoutez le bon DOI, la bonne année et la bonne revue ou conférence. Exportez le BibTeX depuis la page de l'éditeur plutôt que de le modifier à la main.
  4. Si vous ne le trouvez pas, supprimez-la ou remplacez-la. Ne gardez pas une référence qui « existe probablement ». Si elle étaye une affirmation clé, revenez à des sources que vous avez réellement lues.
  5. Vérifiez l'affirmation. Ouvrez l'article et confirmez qu'il étaye la phrase que vous avez écrite. Aucun script ne peut le faire ; la fiche de suivi de comment vérifier un article scientifique peut vous aider.

Faites passer par ces cinq étapes toutes les entrées de votre .bib suggérées ou rédigées par un outil d'IA, quel que soit le verdict du script.

Étape 4 : supprimez les phrases laissées par le modèle

Le second type de preuve cité par arXiv, ce sont les méta-commentaires. On les trouve souvent au début ou à la fin de paragraphes recollés dans LaTeX, dans les notes de tableaux et dans les légendes. À la racine du projet, lancez :

Shell
grep -rniE --include='*.tex' \  'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .

Sur un fichier de test, cette commande a trouvé « Here is a 200-word summary… Would you like me to make any changes? », « The data in this table is illustrative; fill it in with the real numbers. », la valeur fictive XX.X\%, [citation needed] et un commentaire % TODO, sans signaler la phrase ordinaire. Pour les manuscrits dans d'autres langues, ajoutez les expressions équivalentes.

Examinez chaque résultat : des mots comme illustrative ou placeholder peuvent être légitimes. Les commentaires commençant par % n'apparaissent pas dans le PDF, mais arXiv publie vos sources : supprimez-les avant de soumettre.

Enfin, vérifiez que chaque chiffre de vos tableaux et figures provient de vos relevés d'expériences. Un modèle qui remplit un tableau peut y insérer des valeurs d'exemple plausibles. grep ne peut pas le détecter ; seule une comparaison avec les données brutes le permet.

Le faire dans EasyLaTeX

  • Le panneau IA à droite de l'éditeur (mode Chat) peut lire les fichiers .tex et .bib de votre projet. Demandez-lui de lister les clés citées, de signaler les entrées sans DOI ou avec des champs manquants, et de repérer les phrases qui ressemblent à des méta-commentaires. Le panneau n'a pas accès au web : il ne peut donc pas savoir si un article existe.
  • Pour vérifier qu'une référence existe, utilisez l'Academic Agent de la page d'accueil de la plateforme. Il peut chercher sur le web et consulter la littérature, ce qui convient pour contrôler une à une les entrées signalées.
  • Lorsque vous laissez le mode Agent modifier le .bib, vous pouvez accepter ou refuser chaque modification. Avant d'ajouter un DOI ou de changer une année, ouvrez vous-même la page de l'éditeur.

Le script Python s'exécute en local : téléchargez les sources de votre projet depuis EasyLaTeX et lancez-le sur votre machine. Quels que soient les outils utilisés, tous les auteurs restent responsables des références.

Liste de contrôle avant soumission

  1. Le projet compile et le log ne contient aucun Citation undefined.
  2. Toutes les références citées ont été vérifiées auprès de Crossref, et chaque entrée CHECK a été contrôlée à la main.
  3. Toutes les références suggérées ou rédigées par l'IA ont été ouvertes et confirmées.
  4. Vous avez lu les passages qui étayent vos affirmations clés.
  5. Les sources ne contiennent ni méta-commentaires, ni chiffres fictifs, ni TODO.
  6. L'usage de l'IA est déclaré comme l'exige la revue ou la conférence ; voir les déclarations d'usage de l'IA dans les articles scientifiques.

Références