投稿前に AI が捏造した参考文献を見つける方法:arXiv の投稿禁止措置と .bib チェッカー
投稿前に AI が捏造した参考文献を見つけるには、3 段階で確認します。まず本文で実際に引用しているエントリだけを抽出し、次に DOI とタイトルを Crossref で一括照合し、最後にフラグが立ったエントリを一件ずつ開いて手作業で確認します。コンパイルが通っても、引用が実在する証拠にはなりません。でっち上げの .bib エントリも他の文献と同じように参考文献リストに組版され、ログには何の警告も出ません。あわせて、「以下は要約です」「実際の数値を記入してください」のような、言語モデルが残した文がソースに紛れていないかも検索しておくべきです。本記事ではそのまま使える Python スクリプトと検索コマンドを紹介します。例はすべて公開前に実際に実行しています。
arXiv は捏造された参考文献にどう対処するのか
2026 年 5 月、arXiv のコンピュータサイエンス部門の議長である Thomas Dietterich は X で罰則を説明し、その後 Nature の取材でも認めました。投稿に「著者が LLM の生成結果を確認しなかったという反論の余地のない証拠」が含まれている場合、著者全員が 1 年間の投稿禁止となります。禁止期間の終了後も、arXiv への新規投稿は、まず信頼できる査読付きの学術誌または会議に採択されている必要があります。
彼は証拠の例として次の 2 種類を挙げています。
- ハルシネーションによる参考文献(hallucinated references)。
- LLM が残したメタコメント。例えば "here is a 200 word summary; would you like me to make any changes?" や "the data in this table is illustrative, fill it in with the real numbers from your experiments" などです。
404 Media によると、処分の前にモデレーターが問題を記録し、部門の議長が確認する必要があり、著者は異議を申し立てることができます。このルールはソーシャルメディアと報道機関の取材を通じて発表されました。arXiv 自身のモデレーションページでは、生成 AI による「誤った参考文献」を含め、著者がすべての内容に全責任を負うこと、そして「全般的な慎重さと丁寧な準備が求められる」ことが根拠となっています。
規模の目安として、Zhao らの研究(著者には arXiv の創設者 Paul Ginsparg も含まれます)は、arXiv、bioRxiv、SSRN、PubMed Central の 250 万本の論文に含まれる 1 億 1,100 万件の参考文献を調査しました。2025 年にこの 4 つのコーパス全体で 146,932 件のハルシネーション引用があったと控えめに推定しています。また、存在しない引用の約 78.8% が arXiv のモデレーションを通過し、bioRxiv のプレプリントに含まれるこうした引用の 85.3% が出版版まで残ったと推定しています。この研究はプレプリントであり、手法が検出できるのはタイトルが存在しない参考文献だけです。実在する論文が、その論文が述べていない主張の根拠として引用されているケースは、自動で見つけるのがさらに困難です。
捏造された参考文献の典型パターン
| 種類 | 特徴 | 自動チェックで検出できるか |
|---|---|---|
| 完全な創作 | タイトルや著者はもっともらしいが、文献が見つからない。DOI が解決されない | できる:DOI が 404 を返すか、タイトルが一致しない |
| 継ぎはぎ | 実在する DOI が別の論文を指している。著名な実在の著者名が使われることが多い | できる:DOI のタイトルがエントリと異なる |
| 情報の誤り | 文献は存在するが、年・掲載誌・巻号が間違っている | 一部:年などのフィールドを比較する |
| 主張の不一致 | 文献は実在するが、引用の根拠とした内容は書かれていない | できない:原典を読む必要がある |
年が 1 か所違うだけなら、通常は捏造ではなくメタデータの問題です。Google Scholar でのバージョン統合や、PDF からの抽出ミスでもこうした差異が生じます。
ステップ 1:実際に引用しているエントリだけを抽出する
.bib ファイルには、PDF に一度も登場しない過去のプロジェクトのエントリが残っていることがよくあります。一度コンパイルしてから、.aux ファイルから引用キーを取り出します。
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -uこれは従来の BibTeX(\bibliography{refs})で使える方法です。biblatex と Biber の場合、.aux ファイルにはこれらの記録が残りません。.bib 全体をチェックするか、Biber が .bbl ファイルに書き出したエントリを確認してください。引用されているのに .bib にないキーは、ログに Citation undefined として表示されます。詳しくは LaTeX 論文の引用をチェックする方法を参照してください。
ステップ 2:Crossref でエントリを一括照合する
Crossref は無料の公開 REST API を提供しています。以下のスクリプトは Python の標準ライブラリだけを使い、エントリごとに次のチェックを行います。
- DOI がある場合:
api.crossref.org/works/{DOI}を照会します。未知の DOI は 404 を返し、既知の DOI は.bibエントリとタイトルを比較します。 - DOI がない場合:タイトル、著者、年で書誌検索を行い、最も近い結果と比較します。
- タイトルの類似度が 0.9 に達した場合は、年も比較します。
checkbib.py として保存し、MAILTO を自分のメールアドレスに置き換えてください。Crossref はクライアントに連絡先の記載を求めており、記載するとより安定した「polite」プールでリクエストが処理されます。
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)実行方法は次のとおりです。
python3 checkbib.py refs.bib main.aux # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib # every entry in the .bibスクリプトは 1 秒に 1 件のリクエストを送るため、数十件の参考文献なら 1〜2 分で終わります。.bib は正規表現で解析しており、一般的な field = {value}, の書き方に対応しています。値に深く入れ子になった波括弧がある場合や行の構成が特殊な場合はタイトルを読み取れないことがあり、そのエントリは確認対象としてフラグが立ちます。
出力例
5 件のエントリを含むテスト用の .bib を用意しました。実在する論文が 3 件、創作した論文が 1 件(著者は Smith と Chen、DOI は Nature Machine Intelligence の形式)、そして LeCun らによる 2015 年の Nature レビューの DOI を借用し、存在しないタイトルと組み合わせた継ぎはぎエントリが 1 件です。pdfLaTeX と BibTeX でコンパイルすると、5 件すべてが参考文献リストに表示され、ログには警告がありませんでした。2026 年 11 月 17 日時点のスクリプトの出力は次のとおりです。
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539捏造した 2 件はどちらも検出されました。注目すべきは 1 行目です。Attention Is All You Need は実在する論文ですが、NeurIPS の論文集には Crossref の DOI がないため、タイトル検索が 2025 年の別のレコードに一致し、年のチェックに引っかかりました。これは会議論文、arXiv プレプリント、書籍の章でよく起こります。出力は、どこから確認するかを決めるために使ってください。フラグは捏造を意味するものではなく、OK もタイトル・DOI・年が一致していることを示すだけです。
ステップ 3:フラグが立ったエントリを手作業で確認する
CHECK が付いた各エントリについて:
https://doi.org/の後に DOI を付けて開き、表示されたページのタイトルと著者をエントリと比較します。- DOI がない場合は、タイトル全体を引用符で囲んで検索します。検索先は Google Scholar、Semantic Scholar、DBLP(コンピュータサイエンス)、PubMed(生物医学)、arXiv です。会議論文は会議の公式サイトか DBLP を信頼してください。
- 見つかったらエントリを修正します。正しい DOI、年、掲載先を補います。手で編集するのではなく、出版社のページから BibTeX をエクスポートしてください。
- 見つからなければ削除するか差し替えます。「たぶん存在する」参考文献を残してはいけません。重要な主張を支える文献であれば、実際に読んだ文献に戻って根拠を探してください。
- 主張を確認します。論文を開き、自分が書いた文を本当に裏付けているか確かめます。これはスクリプトにはできません。研究論文を検証する方法の記録シートが役立ちます。
AI ツールが提案した、あるいは .bib に書き込んだエントリは、スクリプトの結果にかかわらず、すべて 5 つのステップを通してください。
ステップ 4:モデルが残した文を削除する
arXiv が挙げる 2 種類目の証拠はメタコメントです。LaTeX に貼り戻した段落の冒頭や末尾、表の注記、キャプションに残りがちです。プロジェクトのルートで次を実行します。
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .テストファイルでは、このコマンドは "Here is a 200-word summary… Would you like me to make any changes?"、"The data in this table is illustrative; fill it in with the real numbers."、プレースホルダーの XX.X\%、[citation needed]、% TODO コメントを検出し、通常の文は誤検出しませんでした。他の言語の原稿では、それに相当するフレーズを追加してください。
ヒットは一件ずつ確認してください。illustrative や placeholder のような語は正当に使われている場合もあります。% で始まるコメントは PDF には表示されませんが、arXiv はソースを公開するため、投稿前に削除してください。
最後に、表や図のすべての数値が実験記録に基づいているか確認します。モデルが表を埋める際に、もっともらしいサンプル値を入れることがあります。これは grep では検出できず、生データとの照合でしか見つけられません。
EasyLaTeX での進め方
- エディタ右側の AI パネル(Chat モード)は、プロジェクト内の
.texと.bibファイルを読み取れます。引用キーの一覧化、DOI がないエントリやフィールドが欠けているエントリの指摘、メタコメントらしき文の検出を依頼できます。このパネルはウェブにアクセスできないため、論文が実在するかどうかは判断できません。 - 参考文献の実在を確認するには、プラットフォームのホーム画面にある Academic Agent(学術エージェント)を使います。ウェブ検索と文献検索ができるため、フラグが立ったエントリを一件ずつ確認するのに適しています。
- Agent モードで
.bibを編集させる場合、変更を一つずつ承認または却下できます。DOI を追加したり年を変更したりする前に、出版社のページを自分で開いて確認してください。
Python スクリプトはローカルで実行します。EasyLaTeX からプロジェクトのソースをダウンロードして実行してください。どのツールを使っても、参考文献の責任は著者全員にあります。
投稿前チェックリスト
- プロジェクトがコンパイルでき、ログに
Citation undefinedがない。 - 引用したすべての参考文献を Crossref で照合し、
CHECKの付いたエントリを手作業で確認した。 - AI が提案または記入した参考文献はすべて開いて確認した。
- 重要な主張を裏付ける箇所を読んだ。
- ソースにメタコメント、プレースホルダーの数値、
TODOが残っていない。 - 投稿先の要件に従って AI の使用を開示した。研究論文における AI 使用の開示文を参照してください。
参考資料
- Nature. Researchers who use hallucinated references to face arXiv ban(2026 年 5 月 19 日)。
- The Verge. ArXiv will ban researchers who upload papers full of AI slop(2026 年 5 月 15 日、Dietterich の投稿を引用)。
- arXiv. Content Moderation(生成 AI に関するポリシーを含む)。
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations(arXiv:2605.07723、プレプリント)。
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge?(2026 年 11 月 3 日、11 月 12 日更新)。
- Crossref. REST API documentation。