投稿前如何查核 AI 捏造的引用文獻?arXiv 禁投規則與 .bib 批次檢查

部落格EasyLaTeX發布日期

投稿前要查核 AI 捏造的引用文獻,可以分三步:先只列出內文實際引用的條目,再用 DOI 和標題到 Crossref 批次比對,最後人工開啟每一筆被標記的文獻逐一查證。編譯成功不代表引用真實:一筆憑空捏造的 .bib 條目照樣能排進參考文獻列表,日誌裡沒有任何警告。同時也要搜尋一遍原始碼,清掉大型語言模型留下的「以下是摘要」「請填入真實數據」之類的句子。本文提供可直接複製的 Python 程式和檢查指令,範例都在發布前實際執行過。

arXiv 現在如何處理捏造的引用

2026 年 5 月,arXiv 電腦科學分區主席 Thomas Dietterich 在 X 上說明了處罰規則,之後接受 Nature 採訪時再次確認:如果投稿中有「無可辯駁的證據」顯示作者沒有檢查大型語言模型生成的內容,全體作者將被禁止投稿一年;禁令結束後,再投 arXiv 的稿件必須先被具聲譽的同儕審查期刊或會議接受。

他舉的證據例子有兩類:

  • 捏造的引用文獻(hallucinated references)。
  • 大型語言模型留下的後設評論,例如 "here is a 200 word summary; would you like me to make any changes?",或 "the data in this table is illustrative, fill it in with the real numbers from your experiments"。

根據 404 Media 的報導,處罰前須由版主記錄問題、分區主席確認,作者可以提出申訴。這項規則是透過社群媒體和媒體採訪公布的;arXiv 官方審核頁面中的相關依據是:作者對全部內容負完全責任,包括生成式 AI 產生的「錯誤的引用文獻」,投稿須做到「整體嚴謹、細心準備」。

問題的規模可以參考一項研究。Zhao 等人(作者包括 arXiv 創辦人 Paul Ginsparg)審查了 arXiv、bioRxiv、SSRN 和 PubMed Central 中 250 萬篇論文的 1.11 億筆引用,保守估計 2025 年這四個資料庫中約有 146,932 筆捏造的引用。研究也估計,arXiv 上約 78.8% 不存在的引用通過了審核,bioRxiv 預印本中的這類引用有 85.3% 保留到了正式出版版本。這是一篇預印本,方法只能辨識「標題不存在」的引用;真實文獻被拿來支持它從未提出的論點,這類問題更難自動發現。

捏造的引用通常長什麼樣子

類型特徵自動比對能否發現
完全虛構標題、作者看起來合理,但查不到這篇文獻;DOI 無法解析能,DOI 回傳 404 或標題無相符結果
拼接條目DOI 真實存在,但指向另一篇論文;常掛上真實的知名學者能,DOI 對應的標題與條目不符
資訊錯置文獻存在,但年份、期刊或卷期寫錯部分能,需比對年份等欄位
論點不符文獻真實,但沒有說過你引用它來支持的內容不能,只能閱讀原文

單一年份寫錯通常是後設資料問題,未必是捏造。Google Scholar 合併版本、從 PDF 擷取資訊出錯,都可能造成這種差異。

第一步:只列出內文實際引用的條目

.bib 裡常有從舊專案帶過來的條目,沒被引用就不會出現在 PDF 中。先編譯一次,再從 .aux 檔案中取出被引用的鍵:

Shell
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u

這個指令適用於傳統 BibTeX(\bibliography{refs})。使用 biblatex 與 Biber 時,.aux 檔案中沒有這些紀錄,可以直接檢查整個 .bib,或在 Biber 寫入的 .bbl 檔案中查看實際輸出的條目。內文引用了但 .bib 中缺少的鍵,會在日誌中顯示 Citation undefined,排查方法請見如何檢查 LaTeX 論文中的引用。

第二步:用 Crossref 批次比對

Crossref 提供免費的公開 REST API。下面的程式只使用 Python 標準函式庫,對每個條目執行兩種檢查:

  • 有 DOI:查詢 api.crossref.org/works/{DOI}。不存在的 DOI 會回傳 404;存在的則將 Crossref 紀錄的標題與 .bib 條目比較。
  • 沒有 DOI:以標題、作者、年份進行書目檢索,取最接近的一筆比較。
  • 標題相似度達到 0.9 後,再比較年份。

把程式存成 checkbib.py,並將 MAILTO 換成你的電子郵件地址。Crossref 要求用戶端附上聯絡資訊,這樣請求會進入回應更穩定的「polite」請求池。

Python
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.request​MAILTO = "you@example.org"  # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"​def entries(text):    for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S):        if m.group(1).lower() in ("comment", "string", "preamble"):            continue        f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip())                 for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M))        yield m.group(2), f​def get(url):    req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"})    with urllib.request.urlopen(req, timeout=30) as r:        return json.load(r)["message"]​def sim(a, b):    norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower())    return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()​bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2:  # only check keys that BibTeX actually used    aux = open(sys.argv[2], encoding="utf-8").read()    cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}​for key, f in entries(bib):    if cited is not None and key not in cited and "*" not in cited:        continue    title, doi = f.get("title", ""), f.get("doi", "")    try:        if doi:            w = get(f"{API}/{urllib.parse.quote(doi)}")            s = sim(title, (w.get("title") or [""])[0])            status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs"        else:            q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1})            items = get(f"{API}?{q}")["items"]            w = items[0] if items else {}            s = sim(title, (w.get("title") or [""])[0])            status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match"    except urllib.error.HTTPError as e:        w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}"    year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0]    if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]:        status = "CHECK: year differs"    print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}")    time.sleep(1)

執行方式:

Shell
python3 checkbib.py refs.bib main.aux   # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib            # every entry in the .bib

程式每秒送出一筆請求,幾十筆文獻一兩分鐘就能跑完。它用正規表示式解析 .bib,適用於常見的 field = {value}, 寫法;如果欄位值有多層大括號或換行格式特殊,可能讀不到標題,這類條目會被標記為需查證。

實際執行結果

我們準備了一個含五筆文獻的測試 .bib:三筆真實論文,一筆完全虛構(作者 Smith 和 Chen,DOI 套用 Nature Machine Intelligence 的格式),一筆拼接條目(借用 LeCun 等人 2015 年 Nature 綜述的 DOI,配上一個不存在的標題)。以 pdfLaTeX 與 BibTeX 編譯,五筆全部排進參考文獻列表,日誌沒有任何警告。2026 年 11 月 17 日執行程式的輸出:

Plain text
CHECK: year differs                    vaswani2017            sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK                                     he2016                 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK                                     lecun2015              sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found                   smith2023fake          sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs    mixed2015              sim=0.32 crossref_year=2015 doi=10.1038/nature14539

兩筆捏造的條目都被找出來了。第一行值得注意:Attention Is All You Need 是真實論文,但 NeurIPS 論文集沒有 Crossref DOI,標題檢索比對到的是 2025 年另一筆紀錄,因此觸發了年份檢查。這在會議論文、arXiv 預印本和書籍章節中很常見。程式的結果只用來決定先查哪些;被標記不等於捏造,顯示 OK 也只代表標題、DOI 和年份相符。

第三步:人工查證被標記的條目

對每筆 CHECK 條目:

  1. 開啟 https://doi.org/ 加上 DOI,比對頁面上的標題和作者是否與條目一致。
  2. 沒有 DOI 的,以完整標題加引號搜尋 Google Scholar、Semantic Scholar、DBLP(電腦科學)、PubMed(生物醫學)或 arXiv。會議論文以會議官網或 DBLP 為準。
  3. 找到就修正條目:補上正確的 DOI、年份和期刊或會議名稱。請從出版方頁面匯出 BibTeX,不要手動修改。
  4. 查不到就刪除或替換。不要保留「應該有這篇」的引用;如果它支持的是關鍵論點,請回到你實際讀過的文獻重新找依據。
  5. 核對論點。開啟原文,確認它確實支持你在內文中寫的那句話。這一步程式做不到,可參考如何查證一篇研究論文中的紀錄表。

凡是由 AI 工具推薦、或由 AI 直接寫進 .bib 的條目,不論程式結果如何,都應完整走過這五步。

第四步:清除模型留下的句子

arXiv 列出的第二類證據是後設評論。它們常出現在貼回 LaTeX 的段落開頭或結尾、表格註解和圖說中。在專案根目錄執行:

Shell
grep -rniE --include='*.tex' \  'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .

我們在一個測試檔案上執行這個指令,它找出了 "Here is a 200-word summary… Would you like me to make any changes?"、"The data in this table is illustrative; fill it in with the real numbers."、佔位數字 XX.X\%、[citation needed] 和 % TODO 註解,一般句子沒有被誤判。其他語言的稿件,可以加上對應的語句。

搜尋結果要逐筆檢視:illustrative 或 placeholder 這類字在內文中也可能是正常用法。以 % 開頭的註解不會出現在 PDF 中,但 arXiv 會公開原始碼,所以投稿前同樣要刪除。

最後,確認表格和圖中的每個數字都來自你的實驗紀錄。模型補齊表格時可能填入看似合理的範例數值,這類問題 grep 查不出來,只能對照原始資料。

在 EasyLaTeX 中怎麼做

  • 編輯器右側的 AI 面板(Chat 模式)可以讀取專案中的 .tex 和 .bib 檔案。你可以請它列出被引用的鍵、指出缺少 DOI 或欄位不完整的條目,並找出疑似後設評論的句子。這個面板無法連網,所以無法判斷一篇論文是否存在。
  • 要查證文獻是否存在,請使用平台首頁的 Academic Agent(學術助理)。它可以上網搜尋並檢索文獻,適合逐筆核對被標記的條目。
  • 讓 Agent 模式修改 .bib 時,每一處變更都可以個別接受或拒絕。補 DOI、改年份之前,請自己先開啟出版方頁面確認。

Python 程式需在本機執行,可以從 EasyLaTeX 下載專案原始碼後執行。無論使用哪些工具,引用文獻的責任都在全體作者身上。

投稿前檢查清單

  1. 專案可以順利編譯,日誌中沒有 Citation undefined。
  2. 每一筆被引用的文獻都經過 Crossref 比對,CHECK 條目都已逐筆人工查證。
  3. 由 AI 推薦或寫入的文獻,全部開啟原文確認過。
  4. 已讀過支持關鍵論點的原文段落。
  5. 原始碼中沒有後設評論、佔位數字和 TODO。
  6. 依投稿單位要求揭露 AI 使用情況,寫法可參考研究論文中的 AI 使用聲明。

參考資料

查核 AI 捏造的引用文獻:用 Crossref 批次檢查 .bib(附程式) | EasyLaTeX