投稿前如何核查 AI 编造的参考文献?arXiv 封禁规则与 .bib 批量检查
投稿前核查 AI 编造的参考文献,可以分三步:先只列出正文实际引用的条目,再用 DOI 和题名到 Crossref 批量比对,最后人工打开每一条被标记的文献核实。编译通过不能说明引用真实:一条凭空编造的 .bib 条目照样能排进参考文献列表,日志里没有任何警告。同时要搜一遍源码,清掉大模型留下的“以下是摘要”“请填入真实数据”之类的句子。本文给出可复制的 Python 脚本和检查命令,示例均已实际运行。
arXiv 现在怎么处理编造的引用
2026 年 5 月,arXiv 计算机科学版块主席 Thomas Dietterich 在 X 上说明了处罚规则,随后在接受 Nature 采访时再次确认:如果投稿中有“无可辩驳的证据”表明作者没有检查大模型生成的内容,全部作者将被禁止投稿一年;禁令结束后,再投 arXiv 的稿件须先被有声誉的同行评审期刊或会议接收。
他举的证据例子有两类:
- 编造的参考文献(hallucinated references)。
- 大模型留下的元评论,例如 “here is a 200 word summary; would you like me to make any changes?”,或 “the data in this table is illustrative, fill it in with the real numbers from your experiments”。
据 404 Media 的报道,处罚前须由版主记录问题、版块主席确认,作者可以申诉。这条规则以社交媒体和媒体采访的形式公布;arXiv 官方审核页面中的相关依据是:作者对全部内容负责,包括 AI 生成的“错误的参考文献”,投稿须做到“严谨细致”。
问题的规模有一项研究可以参考。Zhao 等人(作者包括 arXiv 创始人 Paul Ginsparg)审计了 arXiv、bioRxiv、SSRN 和 PubMed Central 中 250 万篇论文的 1.11 亿条引用,保守估计 2025 年这四个库里约有 146,932 条编造的引用。研究还估计,arXiv 上约 78.8% 的不存在引用通过了审核,bioRxiv 预印本里的这类引用有 85.3% 保留到了正式发表版本。这是一篇预印本,方法只能识别“题名不存在”的引用;真实文献被拿来支持它并未提出的论断,这类问题更难自动发现。
编造的引用通常长什么样
| 类型 | 特征 | 自动比对能否发现 |
|---|---|---|
| 完全虚构 | 题名、作者看起来合理,但查不到这篇文献;DOI 打不开 | 能,DOI 返回 404 或题名无匹配 |
| 拼接条目 | DOI 真实存在,但指向另一篇论文;作者是真实的知名学者 | 能,DOI 对应的题名与条目不符 |
| 信息错位 | 文献存在,年份、期刊、卷期写错 | 部分能,需比对年份等字段 |
| 论断不符 | 文献真实,但没有说过你引用它支持的那句话 | 不能,只能读原文 |
单个年份写错通常是元数据问题,未必是编造。Google Scholar 合并版本、从 PDF 抽取信息出错,都可能造成这种差异。
第一步:只列出正文实际引用的条目
.bib 里常有从旧项目带来的条目,没有被引用就不会出现在 PDF 中。先编译一次,从 .aux 文件中取出被引用的键:
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u这条命令适用于传统 BibTeX(\bibliography{refs})。使用 biblatex + Biber 时,.aux 中没有这些记录,可以直接检查整个 .bib,或在 Biber 生成的 .bbl 中查看实际输出的条目。正文引用了但 .bib 中缺失的键会在日志里报 Citation undefined,排查方法见如何检查 LaTeX 论文中的引用是否完整。
第二步:用 Crossref 批量比对
Crossref 提供免费的公开 REST API。下面的脚本只用 Python 标准库,对每个条目做两种检查:
- 有 DOI:查询
api.crossref.org/works/{DOI}。DOI 不存在会返回 404;存在则比较 Crossref 记录的题名与.bib中的题名。 - 没有 DOI:用题名、作者、年份做书目检索,取最接近的一条比较题名。
- 题名相似度达到 0.9 后,再比较年份。
把脚本保存为 checkbib.py,把 MAILTO 换成你的邮箱。Crossref 建议在请求中附上联系方式,这样会进入响应更稳定的 polite 请求池。
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)运行方式:
python3 checkbib.py refs.bib main.aux # 只查正文引用过的条目(BibTeX)python3 checkbib.py refs.bib # 检查整个 .bib脚本按每秒一条请求,几十条文献一两分钟就能跑完。它用正则解析 .bib,适合常见的 field = {value}, 写法;字段值里有多层花括号或跨行很复杂时,可能取不到题名,这类条目会被标为需核实。
实际运行结果
我们准备了一个含五条文献的测试 .bib:三条真实文献,一条完全虚构(作者 Smith 和 Chen,DOI 套用 Nature Machine Intelligence 的格式),一条拼接条目(借用 LeCun 等人 2015 年 Nature 综述的 DOI,配上一个不存在的题名)。用 pdfLaTeX + BibTeX 编译,五条全部排进参考文献列表,日志没有警告。2026 年 11 月 17 日运行脚本的输出:
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539两条编造的条目都被找出来了。第一行值得注意:Attention Is All You Need 是真实论文,但 NeurIPS 论文集没有在 Crossref 注册 DOI,题名检索命中的是 2025 年另一份同名记录,所以报了年份不符。这类情况在会议论文、arXiv 预印本、书籍章节中很常见。脚本的结果只用来决定先查哪些,被标记不等于编造,显示 OK 也只说明题名、DOI、年份对得上。
第三步:人工核实被标记的条目
对每条 CHECK 条目:
- 打开
https://doi.org/加 DOI,看落地页的题名和作者是否与条目一致。 - 没有 DOI 的,按完整题名加引号检索 Google Scholar、Semantic Scholar、DBLP(计算机)、PubMed(生物医学)或 arXiv。会议论文以会议官网或 DBLP 为准。
- 找到了就修正条目:补上正确的 DOI、年份、期刊名,最好从出版方页面导出 BibTeX,不要手改。
- 查不到就删除或替换。不要保留“大概有这篇”的引用;如果它支持的是关键论断,回到你实际读过的文献里重新找依据。
- 核对论断。打开原文,确认它确实支持你在正文中写的那句话。这一步脚本做不了,可参考引用前如何核实一篇论文中的记录表。
由 AI 推荐、或由 AI 直接写进 .bib 的条目,建议全部走一遍这五步,不管脚本结果如何。
第四步:清理大模型留下的句子
arXiv 列举的另一类证据是元评论。它们常出现在复制回 LaTeX 的段落开头或结尾、表格注释和图注中。在项目根目录运行:
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .我们在一个测试文件上运行了这条命令,它找出了 “Here is a 200-word summary… Would you like me to make any changes?”、“The data in this table is illustrative; fill it in with the real numbers.”、XX.X\% 占位数字、[citation needed] 和 % TODO 注释,正常句子没有被误报。中文稿件可以加上“以下是”“希望对你有帮助”“请根据实际”“示例数据”等短语。
搜到的结果要逐条看:illustrative 或 placeholder 在正文里也可能是正常用词。% 开头的注释不会出现在 PDF 中,但 arXiv 会公开源码,提交前同样要删掉。
最后检查表格和图里的数字是否来自你的实验记录。大模型补全表格时可能填入看似合理的示例值,这类问题 grep 查不出来,只能对照原始数据。
在 EasyLaTeX 中怎么做
- 编辑器右侧的 AI 面板(Chat 模式)可以读取项目中的
.tex和.bib。可以让它列出所有被引用的键、指出缺少 DOI 或字段不全的条目,并找出疑似元评论的句子。这个面板不能联网,所以它无法判断一篇文献是否存在。 - 需要查证文献是否存在时,使用平台首页的学术伙伴(Academic Agent)。它可以联网搜索和检索文献,适合逐条核对被标记的条目。
- 用 Agent 模式修改
.bib时,每处改动都可以逐条接受或拒绝。补 DOI、改年份前,先自己打开出版页面确认。
上面的 Python 脚本需要在本地运行,可以从 EasyLaTeX 下载项目源码后执行。无论用哪种工具,最后要对引用负责的是全体作者。
投稿前检查清单
- 编译通过,日志中没有
Citation undefined。 - 正文引用的每一条文献都跑过 Crossref 比对,
CHECK条目已逐条人工核实。 - AI 推荐或写入的文献全部打开原文确认过。
- 关键论断对应的原文段落已读过。
- 源码中没有元评论、占位数字和
TODO。 - 按目标平台要求声明了 AI 使用情况,写法可参考研究论文中的 AI 使用声明。
参考资料
- Nature. Researchers who use hallucinated references to face arXiv ban(2026-05-19)。
- The Verge. ArXiv will ban researchers who upload papers full of AI slop(2026-05-15,含 Dietterich 原文)。
- arXiv. Content Moderation(含生成式 AI 使用政策)。
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations(arXiv:2605.07723,预印本)。
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge?(2026-11-03,11-12 更新)。
- Crossref. REST API documentation。