投稿前如何查核 AI 捏造的引用文獻?arXiv 禁投規則與 .bib 批次檢查
投稿前要查核 AI 捏造的引用文獻,可以分三步:先只列出內文實際引用的條目,再用 DOI 和標題到 Crossref 批次比對,最後人工開啟每一筆被標記的文獻逐一查證。編譯成功不代表引用真實:一筆憑空捏造的 .bib 條目照樣能排進參考文獻列表,日誌裡沒有任何警告。同時也要搜尋一遍原始碼,清掉大型語言模型留下的「以下是摘要」「請填入真實數據」之類的句子。本文提供可直接複製的 Python 程式和檢查指令,範例都在發布前實際執行過。
arXiv 現在如何處理捏造的引用
2026 年 5 月,arXiv 電腦科學分區主席 Thomas Dietterich 在 X 上說明了處罰規則,之後接受 Nature 採訪時再次確認:如果投稿中有「無可辯駁的證據」顯示作者沒有檢查大型語言模型生成的內容,全體作者將被禁止投稿一年;禁令結束後,再投 arXiv 的稿件必須先被具聲譽的同儕審查期刊或會議接受。
他舉的證據例子有兩類:
- 捏造的引用文獻(hallucinated references)。
- 大型語言模型留下的後設評論,例如 "here is a 200 word summary; would you like me to make any changes?",或 "the data in this table is illustrative, fill it in with the real numbers from your experiments"。
根據 404 Media 的報導,處罰前須由版主記錄問題、分區主席確認,作者可以提出申訴。這項規則是透過社群媒體和媒體採訪公布的;arXiv 官方審核頁面中的相關依據是:作者對全部內容負完全責任,包括生成式 AI 產生的「錯誤的引用文獻」,投稿須做到「整體嚴謹、細心準備」。
問題的規模可以參考一項研究。Zhao 等人(作者包括 arXiv 創辦人 Paul Ginsparg)審查了 arXiv、bioRxiv、SSRN 和 PubMed Central 中 250 萬篇論文的 1.11 億筆引用,保守估計 2025 年這四個資料庫中約有 146,932 筆捏造的引用。研究也估計,arXiv 上約 78.8% 不存在的引用通過了審核,bioRxiv 預印本中的這類引用有 85.3% 保留到了正式出版版本。這是一篇預印本,方法只能辨識「標題不存在」的引用;真實文獻被拿來支持它從未提出的論點,這類問題更難自動發現。
捏造的引用通常長什麼樣子
| 類型 | 特徵 | 自動比對能否發現 |
|---|---|---|
| 完全虛構 | 標題、作者看起來合理,但查不到這篇文獻;DOI 無法解析 | 能,DOI 回傳 404 或標題無相符結果 |
| 拼接條目 | DOI 真實存在,但指向另一篇論文;常掛上真實的知名學者 | 能,DOI 對應的標題與條目不符 |
| 資訊錯置 | 文獻存在,但年份、期刊或卷期寫錯 | 部分能,需比對年份等欄位 |
| 論點不符 | 文獻真實,但沒有說過你引用它來支持的內容 | 不能,只能閱讀原文 |
單一年份寫錯通常是後設資料問題,未必是捏造。Google Scholar 合併版本、從 PDF 擷取資訊出錯,都可能造成這種差異。
第一步:只列出內文實際引用的條目
.bib 裡常有從舊專案帶過來的條目,沒被引用就不會出現在 PDF 中。先編譯一次,再從 .aux 檔案中取出被引用的鍵:
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u這個指令適用於傳統 BibTeX(\bibliography{refs})。使用 biblatex 與 Biber 時,.aux 檔案中沒有這些紀錄,可以直接檢查整個 .bib,或在 Biber 寫入的 .bbl 檔案中查看實際輸出的條目。內文引用了但 .bib 中缺少的鍵,會在日誌中顯示 Citation undefined,排查方法請見如何檢查 LaTeX 論文中的引用。
第二步:用 Crossref 批次比對
Crossref 提供免費的公開 REST API。下面的程式只使用 Python 標準函式庫,對每個條目執行兩種檢查:
- 有 DOI:查詢
api.crossref.org/works/{DOI}。不存在的 DOI 會回傳 404;存在的則將 Crossref 紀錄的標題與.bib條目比較。 - 沒有 DOI:以標題、作者、年份進行書目檢索,取最接近的一筆比較。
- 標題相似度達到 0.9 後,再比較年份。
把程式存成 checkbib.py,並將 MAILTO 換成你的電子郵件地址。Crossref 要求用戶端附上聯絡資訊,這樣請求會進入回應更穩定的「polite」請求池。
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)執行方式:
python3 checkbib.py refs.bib main.aux # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib # every entry in the .bib程式每秒送出一筆請求,幾十筆文獻一兩分鐘就能跑完。它用正規表示式解析 .bib,適用於常見的 field = {value}, 寫法;如果欄位值有多層大括號或換行格式特殊,可能讀不到標題,這類條目會被標記為需查證。
實際執行結果
我們準備了一個含五筆文獻的測試 .bib:三筆真實論文,一筆完全虛構(作者 Smith 和 Chen,DOI 套用 Nature Machine Intelligence 的格式),一筆拼接條目(借用 LeCun 等人 2015 年 Nature 綜述的 DOI,配上一個不存在的標題)。以 pdfLaTeX 與 BibTeX 編譯,五筆全部排進參考文獻列表,日誌沒有任何警告。2026 年 11 月 17 日執行程式的輸出:
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539兩筆捏造的條目都被找出來了。第一行值得注意:Attention Is All You Need 是真實論文,但 NeurIPS 論文集沒有 Crossref DOI,標題檢索比對到的是 2025 年另一筆紀錄,因此觸發了年份檢查。這在會議論文、arXiv 預印本和書籍章節中很常見。程式的結果只用來決定先查哪些;被標記不等於捏造,顯示 OK 也只代表標題、DOI 和年份相符。
第三步:人工查證被標記的條目
對每筆 CHECK 條目:
- 開啟
https://doi.org/加上 DOI,比對頁面上的標題和作者是否與條目一致。 - 沒有 DOI 的,以完整標題加引號搜尋 Google Scholar、Semantic Scholar、DBLP(電腦科學)、PubMed(生物醫學)或 arXiv。會議論文以會議官網或 DBLP 為準。
- 找到就修正條目:補上正確的 DOI、年份和期刊或會議名稱。請從出版方頁面匯出 BibTeX,不要手動修改。
- 查不到就刪除或替換。不要保留「應該有這篇」的引用;如果它支持的是關鍵論點,請回到你實際讀過的文獻重新找依據。
- 核對論點。開啟原文,確認它確實支持你在內文中寫的那句話。這一步程式做不到,可參考如何查證一篇研究論文中的紀錄表。
凡是由 AI 工具推薦、或由 AI 直接寫進 .bib 的條目,不論程式結果如何,都應完整走過這五步。
第四步:清除模型留下的句子
arXiv 列出的第二類證據是後設評論。它們常出現在貼回 LaTeX 的段落開頭或結尾、表格註解和圖說中。在專案根目錄執行:
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .我們在一個測試檔案上執行這個指令,它找出了 "Here is a 200-word summary… Would you like me to make any changes?"、"The data in this table is illustrative; fill it in with the real numbers."、佔位數字 XX.X\%、[citation needed] 和 % TODO 註解,一般句子沒有被誤判。其他語言的稿件,可以加上對應的語句。
搜尋結果要逐筆檢視:illustrative 或 placeholder 這類字在內文中也可能是正常用法。以 % 開頭的註解不會出現在 PDF 中,但 arXiv 會公開原始碼,所以投稿前同樣要刪除。
最後,確認表格和圖中的每個數字都來自你的實驗紀錄。模型補齊表格時可能填入看似合理的範例數值,這類問題 grep 查不出來,只能對照原始資料。
在 EasyLaTeX 中怎麼做
- 編輯器右側的 AI 面板(Chat 模式)可以讀取專案中的
.tex和.bib檔案。你可以請它列出被引用的鍵、指出缺少 DOI 或欄位不完整的條目,並找出疑似後設評論的句子。這個面板無法連網,所以無法判斷一篇論文是否存在。 - 要查證文獻是否存在,請使用平台首頁的 Academic Agent(學術助理)。它可以上網搜尋並檢索文獻,適合逐筆核對被標記的條目。
- 讓 Agent 模式修改
.bib時,每一處變更都可以個別接受或拒絕。補 DOI、改年份之前,請自己先開啟出版方頁面確認。
Python 程式需在本機執行,可以從 EasyLaTeX 下載專案原始碼後執行。無論使用哪些工具,引用文獻的責任都在全體作者身上。
投稿前檢查清單
- 專案可以順利編譯,日誌中沒有
Citation undefined。 - 每一筆被引用的文獻都經過 Crossref 比對,
CHECK條目都已逐筆人工查證。 - 由 AI 推薦或寫入的文獻,全部開啟原文確認過。
- 已讀過支持關鍵論點的原文段落。
- 原始碼中沒有後設評論、佔位數字和
TODO。 - 依投稿單位要求揭露 AI 使用情況,寫法可參考研究論文中的 AI 使用聲明。
參考資料
- Nature. Researchers who use hallucinated references to face arXiv ban(2026-05-19)。
- The Verge. ArXiv will ban researchers who upload papers full of AI slop(2026-05-15,引用 Dietterich 的貼文)。
- arXiv. Content Moderation(含生成式 AI 使用政策)。
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations(arXiv:2605.07723,預印本)。
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge?(2026-11-03,11-12 更新)。
- Crossref. REST API documentation。