投稿前如何核查 AI 编造的参考文献?arXiv 封禁规则与 .bib 批量检查

博客EasyLaTeX发布于

投稿前核查 AI 编造的参考文献,可以分三步:先只列出正文实际引用的条目,再用 DOI 和题名到 Crossref 批量比对,最后人工打开每一条被标记的文献核实。编译通过不能说明引用真实:一条凭空编造的 .bib 条目照样能排进参考文献列表,日志里没有任何警告。同时要搜一遍源码,清掉大模型留下的“以下是摘要”“请填入真实数据”之类的句子。本文给出可复制的 Python 脚本和检查命令,示例均已实际运行。

arXiv 现在怎么处理编造的引用

2026 年 5 月,arXiv 计算机科学版块主席 Thomas Dietterich 在 X 上说明了处罚规则,随后在接受 Nature 采访时再次确认:如果投稿中有“无可辩驳的证据”表明作者没有检查大模型生成的内容,全部作者将被禁止投稿一年;禁令结束后,再投 arXiv 的稿件须先被有声誉的同行评审期刊或会议接收。

他举的证据例子有两类:

  • 编造的参考文献(hallucinated references)。
  • 大模型留下的元评论,例如 “here is a 200 word summary; would you like me to make any changes?”,或 “the data in this table is illustrative, fill it in with the real numbers from your experiments”。

据 404 Media 的报道,处罚前须由版主记录问题、版块主席确认,作者可以申诉。这条规则以社交媒体和媒体采访的形式公布;arXiv 官方审核页面中的相关依据是:作者对全部内容负责,包括 AI 生成的“错误的参考文献”,投稿须做到“严谨细致”。

问题的规模有一项研究可以参考。Zhao 等人(作者包括 arXiv 创始人 Paul Ginsparg)审计了 arXiv、bioRxiv、SSRN 和 PubMed Central 中 250 万篇论文的 1.11 亿条引用,保守估计 2025 年这四个库里约有 146,932 条编造的引用。研究还估计,arXiv 上约 78.8% 的不存在引用通过了审核,bioRxiv 预印本里的这类引用有 85.3% 保留到了正式发表版本。这是一篇预印本,方法只能识别“题名不存在”的引用;真实文献被拿来支持它并未提出的论断,这类问题更难自动发现。

编造的引用通常长什么样

类型特征自动比对能否发现
完全虚构题名、作者看起来合理,但查不到这篇文献;DOI 打不开能,DOI 返回 404 或题名无匹配
拼接条目DOI 真实存在,但指向另一篇论文;作者是真实的知名学者能,DOI 对应的题名与条目不符
信息错位文献存在,年份、期刊、卷期写错部分能,需比对年份等字段
论断不符文献真实,但没有说过你引用它支持的那句话不能,只能读原文

单个年份写错通常是元数据问题,未必是编造。Google Scholar 合并版本、从 PDF 抽取信息出错,都可能造成这种差异。

第一步:只列出正文实际引用的条目

.bib 里常有从旧项目带来的条目,没有被引用就不会出现在 PDF 中。先编译一次,从 .aux 文件中取出被引用的键:

Shell
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u

这条命令适用于传统 BibTeX(\bibliography{refs})。使用 biblatex + Biber 时,.aux 中没有这些记录,可以直接检查整个 .bib,或在 Biber 生成的 .bbl 中查看实际输出的条目。正文引用了但 .bib 中缺失的键会在日志里报 Citation undefined,排查方法见如何检查 LaTeX 论文中的引用是否完整。

第二步:用 Crossref 批量比对

Crossref 提供免费的公开 REST API。下面的脚本只用 Python 标准库,对每个条目做两种检查:

  • 有 DOI:查询 api.crossref.org/works/{DOI}。DOI 不存在会返回 404;存在则比较 Crossref 记录的题名与 .bib 中的题名。
  • 没有 DOI:用题名、作者、年份做书目检索,取最接近的一条比较题名。
  • 题名相似度达到 0.9 后,再比较年份。

把脚本保存为 checkbib.py,把 MAILTO 换成你的邮箱。Crossref 建议在请求中附上联系方式,这样会进入响应更稳定的 polite 请求池。

Python
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.request​MAILTO = "you@example.org"  # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"​def entries(text):    for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S):        if m.group(1).lower() in ("comment", "string", "preamble"):            continue        f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip())                 for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M))        yield m.group(2), f​def get(url):    req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"})    with urllib.request.urlopen(req, timeout=30) as r:        return json.load(r)["message"]​def sim(a, b):    norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower())    return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()​bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2:  # only check keys that BibTeX actually used    aux = open(sys.argv[2], encoding="utf-8").read()    cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}​for key, f in entries(bib):    if cited is not None and key not in cited and "*" not in cited:        continue    title, doi = f.get("title", ""), f.get("doi", "")    try:        if doi:            w = get(f"{API}/{urllib.parse.quote(doi)}")            s = sim(title, (w.get("title") or [""])[0])            status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs"        else:            q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1})            items = get(f"{API}?{q}")["items"]            w = items[0] if items else {}            s = sim(title, (w.get("title") or [""])[0])            status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match"    except urllib.error.HTTPError as e:        w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}"    year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0]    if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]:        status = "CHECK: year differs"    print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}")    time.sleep(1)

运行方式:

Shell
python3 checkbib.py refs.bib main.aux   # 只查正文引用过的条目(BibTeX)python3 checkbib.py refs.bib            # 检查整个 .bib

脚本按每秒一条请求,几十条文献一两分钟就能跑完。它用正则解析 .bib,适合常见的 field = {value}, 写法;字段值里有多层花括号或跨行很复杂时,可能取不到题名,这类条目会被标为需核实。

实际运行结果

我们准备了一个含五条文献的测试 .bib:三条真实文献,一条完全虚构(作者 Smith 和 Chen,DOI 套用 Nature Machine Intelligence 的格式),一条拼接条目(借用 LeCun 等人 2015 年 Nature 综述的 DOI,配上一个不存在的题名)。用 pdfLaTeX + BibTeX 编译,五条全部排进参考文献列表,日志没有警告。2026 年 11 月 17 日运行脚本的输出:

Plain text
CHECK: year differs                    vaswani2017            sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK                                     he2016                 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK                                     lecun2015              sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found                   smith2023fake          sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs    mixed2015              sim=0.32 crossref_year=2015 doi=10.1038/nature14539

两条编造的条目都被找出来了。第一行值得注意:Attention Is All You Need 是真实论文,但 NeurIPS 论文集没有在 Crossref 注册 DOI,题名检索命中的是 2025 年另一份同名记录,所以报了年份不符。这类情况在会议论文、arXiv 预印本、书籍章节中很常见。脚本的结果只用来决定先查哪些,被标记不等于编造,显示 OK 也只说明题名、DOI、年份对得上。

第三步:人工核实被标记的条目

对每条 CHECK 条目:

  1. 打开 https://doi.org/ 加 DOI,看落地页的题名和作者是否与条目一致。
  2. 没有 DOI 的,按完整题名加引号检索 Google Scholar、Semantic Scholar、DBLP(计算机)、PubMed(生物医学)或 arXiv。会议论文以会议官网或 DBLP 为准。
  3. 找到了就修正条目:补上正确的 DOI、年份、期刊名,最好从出版方页面导出 BibTeX,不要手改。
  4. 查不到就删除或替换。不要保留“大概有这篇”的引用;如果它支持的是关键论断,回到你实际读过的文献里重新找依据。
  5. 核对论断。打开原文,确认它确实支持你在正文中写的那句话。这一步脚本做不了,可参考引用前如何核实一篇论文中的记录表。

由 AI 推荐、或由 AI 直接写进 .bib 的条目,建议全部走一遍这五步,不管脚本结果如何。

第四步:清理大模型留下的句子

arXiv 列举的另一类证据是元评论。它们常出现在复制回 LaTeX 的段落开头或结尾、表格注释和图注中。在项目根目录运行:

Shell
grep -rniE --include='*.tex' \  'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .

我们在一个测试文件上运行了这条命令,它找出了 “Here is a 200-word summary… Would you like me to make any changes?”、“The data in this table is illustrative; fill it in with the real numbers.”、XX.X\% 占位数字、[citation needed] 和 % TODO 注释,正常句子没有被误报。中文稿件可以加上“以下是”“希望对你有帮助”“请根据实际”“示例数据”等短语。

搜到的结果要逐条看:illustrative 或 placeholder 在正文里也可能是正常用词。% 开头的注释不会出现在 PDF 中,但 arXiv 会公开源码,提交前同样要删掉。

最后检查表格和图里的数字是否来自你的实验记录。大模型补全表格时可能填入看似合理的示例值,这类问题 grep 查不出来,只能对照原始数据。

在 EasyLaTeX 中怎么做

  • 编辑器右侧的 AI 面板(Chat 模式)可以读取项目中的 .tex 和 .bib。可以让它列出所有被引用的键、指出缺少 DOI 或字段不全的条目,并找出疑似元评论的句子。这个面板不能联网,所以它无法判断一篇文献是否存在。
  • 需要查证文献是否存在时,使用平台首页的学术伙伴(Academic Agent)。它可以联网搜索和检索文献,适合逐条核对被标记的条目。
  • 用 Agent 模式修改 .bib 时,每处改动都可以逐条接受或拒绝。补 DOI、改年份前,先自己打开出版页面确认。

上面的 Python 脚本需要在本地运行,可以从 EasyLaTeX 下载项目源码后执行。无论用哪种工具,最后要对引用负责的是全体作者。

投稿前检查清单

  1. 编译通过,日志中没有 Citation undefined。
  2. 正文引用的每一条文献都跑过 Crossref 比对,CHECK 条目已逐条人工核实。
  3. AI 推荐或写入的文献全部打开原文确认过。
  4. 关键论断对应的原文段落已读过。
  5. 源码中没有元评论、占位数字和 TODO。
  6. 按目标平台要求声明了 AI 使用情况,写法可参考研究论文中的 AI 使用声明。

参考资料