Как найти выдуманные ИИ ссылки до отправки статьи: запрет arXiv и проверка .bib

БлогEasyLaTeXОпубликовано

Чтобы найти выдуманные ИИ ссылки до отправки статьи, проверку проводят в три прохода: выписывают только те записи, которые действительно цитируются в тексте, массово сверяют их DOI и названия с Crossref, а затем вручную открывают и проверяют каждую помеченную запись. Успешная компиляция здесь ничего не доказывает. Вымышленная запись в .bib попадает в список литературы так же, как любая другая, а лог остаётся чистым. Кроме того, стоит поискать в исходниках фразы, оставленные языковой моделью, например «вот краткое резюме» или «подставьте реальные значения». В статье приведены готовый к копированию скрипт на Python и команды поиска; все примеры были выполнены перед публикацией.

Как arXiv теперь поступает с выдуманными ссылками

В мае 2026 года Томас Диттерих (Thomas Dietterich), председатель раздела computer science в arXiv, описал санкцию в X, а затем подтвердил её журналу Nature: если в работе есть «неопровержимые доказательства того, что авторы не проверили результаты генерации LLM», все авторы получают запрет на публикацию сроком на один год. После окончания запрета любая новая работа в arXiv должна сначала быть принята авторитетным рецензируемым журналом или конференцией.

В качестве примеров доказательств он привёл два вида:

  • Галлюцинированные ссылки (hallucinated references).
  • Метакомментарии LLM, например "here is a 200 word summary; would you like me to make any changes?" или "the data in this table is illustrative, fill it in with the real numbers from your experiments".

По данным 404 Media, прежде чем будет наложен запрет, модератор должен задокументировать проблему, а председатель раздела — подтвердить её; авторы могут подать апелляцию. Правило было объявлено через социальные сети и интервью прессе. На собственной странице модерации arXiv соответствующее основание звучит так: авторы несут полную ответственность за всё содержание, включая «неверные ссылки», созданные генеративным ИИ, и «требуются общая скрупулёзность и тщательность подготовки».

Для понимания масштаба: Чжао и соавторы (среди них основатель arXiv Пол Гинспарг) проверили 111 миллионов ссылок в 2,5 миллиона статей из arXiv, bioRxiv, SSRN и PubMed Central. По их консервативной оценке, в 2025 году в этих четырёх корпусах было 146 932 галлюцинированные ссылки. Они также оценивают, что около 78,8% несуществующих ссылок прошли модерацию arXiv, а 85,3% таких ссылок в препринтах bioRxiv сохранились в опубликованных версиях. Исследование является препринтом, и его метод выявляет только ссылки с несуществующими названиями. Реальные статьи, на которые ссылаются в подтверждение утверждений, которых в них нет, найти автоматически сложнее.

Как выглядят выдуманные ссылки

ТипПризнакиВыявляется автоматической проверкой?
ВыдуманнаяПравдоподобные название и авторы, но работу невозможно найти; DOI не разрешаетсяДа: DOI возвращает 404 или для названия нет совпадения
СклееннаяРеальный DOI указывает на другую статью, часто с известными реальными авторамиДа: название по DOI отличается от записи
С ошибкой в атрибуцииРабота существует, но год, издание или том указаны неверноЧастично: сравните год и другие поля
Неподтверждённое утверждениеРабота реальна, но в ней нет того, ради чего её цитируютНет: нужно читать источник

Одиночная ошибка в годе обычно объясняется проблемой метаданных, а не фальсификацией. Такие расхождения возникают и из-за объединения версий в Google Scholar, и из-за ошибок извлечения данных из PDF.

Шаг 1: выпишите только реально цитируемые записи

В файле .bib часто остаются записи из старых проектов, которые никогда не попадают в PDF. Скомпилируйте документ один раз, затем извлеките цитируемые ключи из файла .aux:

Shell
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u

Это работает для классического BibTeX (\bibliography{refs}). При использовании biblatex и Biber файл .aux не содержит этих записей; проверьте весь .bib или посмотрите записи, которые Biber записал в файл .bbl. Ключи, которые цитируются, но отсутствуют в .bib, отображаются в логе как Citation undefined; подробнее см. как проверить ссылки в статье на LaTeX.

Шаг 2: массовая сверка записей с Crossref

Crossref предоставляет бесплатный публичный REST API. Скрипт ниже использует только стандартную библиотеку Python и выполняет для каждой записи две проверки:

  • Если есть DOI: запрашивается api.crossref.org/works/{DOI}. Для неизвестного DOI возвращается 404; для известного название сравнивается с записью в .bib.
  • Если DOI нет: выполняется библиографический поиск по названию, авторам и году, и сравнивается ближайший результат.
  • Когда сходство названий достигает 0.9, дополнительно сравнивается год.

Сохраните его как checkbib.py и замените MAILTO своим адресом электронной почты. Crossref просит клиентов указывать контактные данные: такие запросы направляются в более надёжный пул «polite».

Python
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.request​MAILTO = "you@example.org"  # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"​def entries(text):    for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S):        if m.group(1).lower() in ("comment", "string", "preamble"):            continue        f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip())                 for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M))        yield m.group(2), f​def get(url):    req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"})    with urllib.request.urlopen(req, timeout=30) as r:        return json.load(r)["message"]​def sim(a, b):    norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower())    return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()​bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2:  # only check keys that BibTeX actually used    aux = open(sys.argv[2], encoding="utf-8").read()    cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}​for key, f in entries(bib):    if cited is not None and key not in cited and "*" not in cited:        continue    title, doi = f.get("title", ""), f.get("doi", "")    try:        if doi:            w = get(f"{API}/{urllib.parse.quote(doi)}")            s = sim(title, (w.get("title") or [""])[0])            status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs"        else:            q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1})            items = get(f"{API}?{q}")["items"]            w = items[0] if items else {}            s = sim(title, (w.get("title") or [""])[0])            status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match"    except urllib.error.HTTPError as e:        w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}"    year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0]    if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]:        status = "CHECK: year differs"    print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}")    time.sleep(1)

Запуск:

Shell
python3 checkbib.py refs.bib main.aux   # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib            # every entry in the .bib

Скрипт отправляет один запрос в секунду, поэтому несколько десятков ссылок обрабатываются за минуту-две. Он разбирает .bib регулярными выражениями и справляется с обычной записью вида field = {value},. Если в значении глубоко вложенные фигурные скобки или необычная разбивка строк, название может не считаться, и запись будет помечена для проверки.

Как выглядит вывод

Мы подготовили тестовый .bib из пяти записей: три реальные статьи, одна выдуманная (авторы Smith и Chen, DOI в формате Nature Machine Intelligence) и одна склеенная запись, которая заимствует DOI обзора LeCun и соавторов в Nature 2015 года и сочетает его с несуществующим названием. При компиляции с pdfLaTeX и BibTeX все пять записей попали в список литературы, а в логе не было предупреждений. Вывод скрипта 17 ноября 2026 года:

Plain text
CHECK: year differs                    vaswani2017            sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK                                     he2016                 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK                                     lecun2015              sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found                   smith2023fake          sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs    mixed2015              sim=0.32 crossref_year=2015 doi=10.1038/nature14539

Обе выдуманные записи были обнаружены. Обратите внимание на первую строку: Attention Is All You Need — реальная статья, но у сборника трудов NeurIPS нет DOI в Crossref, поэтому поиск по названию нашёл другую запись 2025 года, и сработала проверка года. Это типично для докладов конференций, препринтов arXiv и глав книг. Используйте вывод, чтобы решить, что проверять в первую очередь. Пометка не означает фальсификацию, а OK означает лишь, что название, DOI и год совпадают.

Шаг 3: вручную проверьте помеченные записи

Для каждой записи с CHECK:

  1. Откройте https://doi.org/ с добавленным DOI и сравните название и авторов на открывшейся странице с вашей записью.
  2. Если DOI нет, ищите точное название в кавычках в Google Scholar, Semantic Scholar, DBLP (информатика), PubMed (биомедицина) или arXiv. Для докладов конференций ориентируйтесь на сайт конференции или DBLP.
  3. Если работа найдена, исправьте запись: добавьте правильные DOI, год и издание. Экспортируйте BibTeX со страницы издателя, а не правьте вручную.
  4. Если найти не удалось, удалите или замените запись. Не оставляйте ссылку, которая «наверное существует». Если она подкрепляет ключевое утверждение, вернитесь к источникам, которые вы действительно читали.
  5. Проверьте утверждение. Откройте статью и убедитесь, что она подтверждает написанное вами предложение. Никакой скрипт этого не сделает; поможет таблица записей из статьи как проверить научную статью.

Каждую запись, которую предложил или внёс в .bib инструмент ИИ, проведите через все пять шагов, что бы ни показал скрипт.

Шаг 4: удалите фразы, оставленные моделью

Второй вид доказательств, который называет arXiv, — метакомментарии. Обычно они встречаются в начале или в конце абзацев, вставленных обратно в LaTeX, в примечаниях к таблицам и в подписях. Из корня проекта выполните:

Shell
grep -rniE --include='*.tex' \  'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .

На тестовом файле эта команда нашла "Here is a 200-word summary… Would you like me to make any changes?", "The data in this table is illustrative; fill it in with the real numbers.", заглушку XX.X\%, [citation needed] и комментарий % TODO, не задев обычное предложение. Для рукописей на других языках добавьте соответствующие фразы.

Просмотрите каждое совпадение: слова вроде illustrative или placeholder могут употребляться вполне законно. Комментарии, начинающиеся с %, не попадают в PDF, но arXiv публикует исходники, поэтому удалите их перед отправкой.

Наконец, убедитесь, что каждое число в таблицах и на рисунках взято из ваших записей об экспериментах. Заполняя таблицу, модель может подставить правдоподобные примерные значения. grep этого не найдёт; помочь может только сверка с исходными данными.

Как сделать это в EasyLaTeX

  • ИИ-панель справа от редактора (режим Chat) может читать файлы .tex и .bib вашего проекта. Попросите её перечислить цитируемые ключи, указать записи без DOI или с недостающими полями и найти предложения, похожие на метакомментарии. У панели нет доступа к интернету, поэтому она не может определить, существует ли статья.
  • Чтобы проверить, существует ли источник, используйте Academic Agent (академический агент) на главной странице платформы. Он умеет искать в интернете и находить литературу, что удобно для поочерёдной проверки помеченных записей.
  • Когда вы разрешаете режиму Agent редактировать .bib, каждое изменение можно принять или отклонить. Прежде чем добавлять DOI или менять год, сами откройте страницу издателя.

Скрипт на Python запускается локально: скачайте исходники проекта из EasyLaTeX и выполните его у себя. Какими бы инструментами вы ни пользовались, ответственность за ссылки несут все авторы.

Чек-лист перед отправкой

  1. Проект компилируется, и в логе нет Citation undefined.
  2. Каждая цитируемая ссылка сверена с Crossref, а каждая запись с CHECK проверена вручную.
  3. Каждая ссылка, предложенная или написанная ИИ, открыта и подтверждена.
  4. Вы прочитали фрагменты, подтверждающие ваши ключевые утверждения.
  5. В исходниках нет метакомментариев, чисел-заглушек и TODO.
  6. Использование ИИ раскрыто в соответствии с требованиями площадки; см. заявления об использовании ИИ в научных статьях.

Источники