투고 전 AI가 조작한 참고문헌 찾아내기: arXiv 투고 금지 규정과 .bib 검사기
투고 전에 AI가 조작한 참고문헌을 찾아내려면 세 단계로 점검합니다. 먼저 본문에서 실제로 인용한 항목만 추려 내고, 그다음 DOI와 제목을 Crossref에서 일괄 대조한 뒤, 마지막으로 플래그가 붙은 항목을 하나씩 열어 직접 확인합니다. 컴파일이 깔끔하게 된다고 해서 인용이 실재한다는 뜻은 아닙니다. 지어낸 .bib 항목도 다른 항목과 똑같이 참고문헌 목록에 조판되고, 로그에는 아무 경고도 남지 않습니다. 또한 "다음은 요약입니다", "실제 수치를 채워 넣으세요"처럼 언어 모델이 남긴 문장이 소스에 남아 있는지도 검색해야 합니다. 이 글에서는 바로 복사해 쓸 수 있는 Python 스크립트와 검색 명령을 소개하며, 모든 예시는 게시 전에 실제로 실행해 보았습니다.
arXiv는 조작된 참고문헌에 어떻게 대응하는가
2026년 5월, arXiv 컴퓨터과학 분야 의장 Thomas Dietterich는 X에 처벌 규정을 밝혔고, 이후 Nature에도 이를 확인했습니다. 투고물에 "저자가 LLM 생성 결과를 확인하지 않았다는 반박할 수 없는 증거"가 있으면 모든 저자가 1년간 투고 금지 처분을 받습니다. 금지 기간이 끝난 뒤에도 arXiv에 새로 투고하려면 먼저 평판 있는 동료 심사 학술지나 학회에 게재가 승인되어야 합니다.
그는 증거의 예로 두 가지를 들었습니다.
- 환각으로 생성된 참고문헌(hallucinated references).
- LLM이 남긴 메타 코멘트. 예를 들어 "here is a 200 word summary; would you like me to make any changes?"나 "the data in this table is illustrative, fill it in with the real numbers from your experiments" 같은 문장입니다.
404 Media에 따르면 처분에 앞서 모더레이터가 문제를 기록하고 분야 의장이 이를 확인해야 하며, 저자는 이의를 제기할 수 있습니다. 이 규정은 소셜 미디어와 언론 인터뷰를 통해 발표되었습니다. arXiv의 자체 모더레이션 페이지에서 관련 근거는, 생성형 AI가 만든 "잘못된 참고문헌"을 포함해 저자가 모든 내용에 전적인 책임을 진다는 것과 "전반적인 꼼꼼함과 신중한 준비가 요구된다"는 점입니다.
규모를 가늠해 보면, Zhao 등(저자 중에는 arXiv 창립자 Paul Ginsparg도 있습니다)은 arXiv, bioRxiv, SSRN, PubMed Central의 논문 250만 편에 담긴 참고문헌 1억 1,100만 건을 조사했습니다. 이들은 2025년 네 코퍼스 전체에서 환각 인용이 146,932건에 이른다고 보수적으로 추정합니다. 또한 존재하지 않는 인용의 약 78.8%가 arXiv 모더레이션을 통과했고, bioRxiv 프리프린트에 있던 이런 인용의 85.3%가 출판본까지 그대로 남았다고 추정합니다. 이 연구는 프리프린트이며, 방법상 제목이 존재하지 않는 참고문헌만 탐지할 수 있습니다. 실제 논문을 그 논문이 하지 않은 주장의 근거로 인용한 경우는 자동으로 찾아내기가 더 어렵습니다.
조작된 참고문헌의 유형
| 유형 | 징후 | 자동 점검으로 잡히는가? |
|---|---|---|
| 날조 | 제목과 저자는 그럴듯하지만 문헌을 찾을 수 없고, DOI가 연결되지 않음 | 예: DOI가 404를 반환하거나 제목이 일치하지 않음 |
| 짜깁기 | 실제 DOI가 다른 논문을 가리키며, 유명한 실제 저자가 붙어 있는 경우가 많음 | 예: DOI의 제목이 항목과 다름 |
| 정보 오류 | 문헌은 존재하지만 연도, 게재처, 권호가 틀림 | 일부: 연도 등 필드를 비교 |
| 근거 없는 주장 | 문헌은 실재하지만 인용한 내용을 말하고 있지 않음 | 아니요: 원문을 읽어야 함 |
연도 하나만 다르다면 대개 조작이 아니라 메타데이터 문제입니다. Google Scholar의 버전 병합이나 PDF 추출 오류도 이런 차이를 만듭니다.
1단계: 실제로 인용한 항목만 추리기
.bib 파일에는 PDF에 한 번도 나오지 않는 이전 프로젝트의 항목이 남아 있는 경우가 많습니다. 한 번 컴파일한 뒤 .aux 파일에서 인용 키를 뽑아냅니다.
grep -o '\\citation{[^}]*}' main.aux | sed 's/\\citation{//; s/}//' | tr ',' '\n' | sort -u이 방법은 기존 BibTeX(\bibliography{refs})에서 동작합니다. biblatex와 Biber를 쓰면 .aux 파일에 이 기록이 남지 않으므로, .bib 전체를 점검하거나 Biber가 .bbl 파일에 기록한 항목을 확인하세요. 인용했지만 .bib에 없는 키는 로그에 Citation undefined로 표시됩니다. 자세한 내용은 LaTeX 논문의 인용을 점검하는 방법을 참고하세요.
2단계: Crossref로 항목 일괄 대조하기
Crossref는 무료 공개 REST API를 제공합니다. 아래 스크립트는 Python 표준 라이브러리만 사용하며, 항목마다 다음 점검을 수행합니다.
- DOI가 있는 경우:
api.crossref.org/works/{DOI}를 조회합니다. 알 수 없는 DOI는 404를 반환하고, 알려진 DOI는.bib항목과 제목을 비교합니다. - DOI가 없는 경우: 제목, 저자, 연도로 서지 검색을 실행하고 가장 가까운 결과와 비교합니다.
- 제목 유사도가 0.9에 도달하면 연도도 비교합니다.
checkbib.py로 저장하고 MAILTO를 본인 이메일 주소로 바꾸세요. Crossref는 클라이언트에 연락처를 포함하도록 요청하며, 그러면 요청이 더 안정적인 "polite" 풀로 처리됩니다.
#!/usr/bin/env python3"""Check BibTeX entries against Crossref. Usage: python3 checkbib.py refs.bib [main.aux]"""import json, re, sys, time, difflib, urllib.parse, urllib.requestMAILTO = "you@example.org" # replace with your email (Crossref polite pool)API = "https://api.crossref.org/works"def entries(text): for m in re.finditer(r"@(\w+)\s*\{\s*([^,\s]+)\s*,(.*?)\n\}", text, re.S): if m.group(1).lower() in ("comment", "string", "preamble"): continue f = dict((k.lower(), re.sub(r"[{}\s]+", " ", v).strip()) for k, v in re.findall(r"(\w+)\s*=\s*[{\"](.*?)[}\"]\s*,?\s*$", m.group(3), re.M)) yield m.group(2), fdef get(url): req = urllib.request.Request(url, headers={"User-Agent": f"checkbib/1.0 (mailto:{MAILTO})"}) with urllib.request.urlopen(req, timeout=30) as r: return json.load(r)["message"]def sim(a, b): norm = lambda s: re.sub(r"[^a-z0-9 ]", "", s.lower()) return difflib.SequenceMatcher(None, norm(a), norm(b)).ratio()bib = open(sys.argv[1], encoding="utf-8").read()cited = Noneif len(sys.argv) > 2: # only check keys that BibTeX actually used aux = open(sys.argv[2], encoding="utf-8").read() cited = {k.strip() for g in re.findall(r"\\citation\{([^}]*)\}", aux) for k in g.split(",")}for key, f in entries(bib): if cited is not None and key not in cited and "*" not in cited: continue title, doi = f.get("title", ""), f.get("doi", "") try: if doi: w = get(f"{API}/{urllib.parse.quote(doi)}") s = sim(title, (w.get("title") or [""])[0]) status = "OK" if s >= 0.9 else "CHECK: DOI exists but title differs" else: q = urllib.parse.urlencode({"query.bibliographic": f"{title} {f.get('author', '')} {f.get('year', '')}", "rows": 1}) items = get(f"{API}?{q}")["items"] w = items[0] if items else {} s = sim(title, (w.get("title") or [""])[0]) status = "FOUND (add DOI?)" if s >= 0.9 else "CHECK: no close match" except urllib.error.HTTPError as e: w, s, status = {}, 0, "CHECK: DOI not found" if e.code == 404 else f"ERROR {e.code}" year = (w.get("issued", {}).get("date-parts") or [[None]])[0][0] if status.startswith(("OK", "FOUND")) and f.get("year") and str(year) != f["year"]: status = "CHECK: year differs" print(f"{status:38} {key:22} sim={s:.2f} crossref_year={year} doi={w.get('DOI', doi or '-')}") time.sleep(1)실행 방법은 다음과 같습니다.
python3 checkbib.py refs.bib main.aux # only entries cited in the text (BibTeX)python3 checkbib.py refs.bib # every entry in the .bib스크립트는 1초에 한 번 요청을 보내므로 참고문헌 수십 건이면 1~2분이 걸립니다. .bib는 정규 표현식으로 파싱하며 일반적인 field = {value}, 형식을 처리합니다. 값에 중괄호가 깊게 중첩되어 있거나 줄 구성이 특이하면 제목을 읽지 못할 수 있고, 그 항목은 확인 대상으로 표시됩니다.
출력 예시
항목 다섯 개로 테스트용 .bib를 만들었습니다. 실제 논문 세 편, 지어낸 논문 한 편(저자 Smith와 Chen, Nature Machine Intelligence 형식의 DOI), 그리고 LeCun 등의 2015년 Nature 리뷰 DOI를 빌려 존재하지 않는 제목과 짝지은 짜깁기 항목 하나입니다. pdfLaTeX와 BibTeX로 컴파일하자 다섯 개 모두 참고문헌 목록에 나타났고 로그에는 경고가 없었습니다. 2026년 11월 17일 스크립트 출력은 다음과 같습니다.
CHECK: year differs vaswani2017 sim=1.00 crossref_year=2025 doi=10.65215/pc26a033OK he2016 sim=1.00 crossref_year=2016 doi=10.1109/cvpr.2016.90OK lecun2015 sim=1.00 crossref_year=2015 doi=10.1038/nature14539CHECK: DOI not found smith2023fake sim=0.00 crossref_year=None doi=10.1038/s42256-023-09999-xCHECK: DOI exists but title differs mixed2015 sim=0.32 crossref_year=2015 doi=10.1038/nature14539조작된 항목 두 개가 모두 잡혔습니다. 첫 줄은 눈여겨볼 만합니다. Attention Is All You Need는 실제 논문이지만 NeurIPS 논문집에는 Crossref DOI가 없어서, 제목 검색이 2025년의 다른 레코드와 일치했고 연도 점검에 걸렸습니다. 학회 논문, arXiv 프리프린트, 책의 장에서는 흔한 일입니다. 출력은 무엇부터 확인할지 정하는 용도로 쓰세요. 플래그가 곧 조작을 뜻하지는 않으며, OK는 제목, DOI, 연도가 일치한다는 의미일 뿐입니다.
3단계: 플래그가 붙은 항목 직접 확인하기
CHECK가 붙은 항목마다:
https://doi.org/뒤에 DOI를 붙여 열고, 해당 페이지의 제목과 저자를 항목과 비교합니다.- DOI가 없으면 정확한 제목을 따옴표로 묶어 검색합니다. Google Scholar, Semantic Scholar, DBLP(컴퓨터과학), PubMed(생의학), arXiv를 활용하세요. 학회 논문은 학회 사이트나 DBLP를 기준으로 삼습니다.
- 찾았다면 항목을 수정합니다. 올바른 DOI, 연도, 게재처를 넣으세요. 손으로 고치지 말고 출판사 페이지에서 BibTeX를 내보내세요.
- 찾을 수 없다면 삭제하거나 교체합니다. "아마 있을" 참고문헌은 남겨 두지 마세요. 핵심 주장을 뒷받침하는 문헌이라면 실제로 읽은 문헌으로 돌아가 근거를 다시 찾으세요.
- 주장을 확인합니다. 논문을 열어 본인이 쓴 문장을 실제로 뒷받침하는지 확인하세요. 이 단계는 어떤 스크립트도 대신할 수 없습니다. 연구 논문을 검증하는 방법의 기록표가 도움이 됩니다.
AI 도구가 제안했거나 .bib에 직접 써 넣은 항목은 스크립트 결과와 관계없이 다섯 단계를 모두 거치게 하세요.
4단계: 모델이 남긴 문장 제거하기
arXiv가 꼽은 두 번째 증거는 메타 코멘트입니다. LaTeX에 다시 붙여 넣은 단락의 처음이나 끝, 표 주석, 캡션에 남아 있기 쉽습니다. 프로젝트 루트에서 다음을 실행하세요.
grep -rniE --include='*.tex' \ 'would you like me|here is (a|an|the) [^.]*(summary|revised|version)|as an ai( language model)?|illustrative|placeholder|fill (it )?in|\[citation needed\]|\bXX(\.X+)?\b|\bTODO\b|lorem ipsum' .테스트 파일에서 이 명령은 "Here is a 200-word summary… Would you like me to make any changes?", "The data in this table is illustrative; fill it in with the real numbers.", 자리표시자 XX.X\%, [citation needed], % TODO 주석을 찾아냈고, 일반 문장은 잘못 잡지 않았습니다. 다른 언어로 쓴 원고라면 해당 언어의 표현을 추가하세요.
검색 결과는 하나씩 검토하세요. illustrative나 placeholder 같은 단어는 정당하게 쓰였을 수도 있습니다. %로 시작하는 주석은 PDF에 나타나지 않지만 arXiv는 소스를 공개하므로 투고 전에 지우세요.
마지막으로 표와 그림의 모든 숫자가 실험 기록에서 나온 것인지 확인하세요. 모델이 표를 채우면서 그럴듯한 예시 값을 넣을 수 있습니다. 이는 grep으로 잡을 수 없고 원본 데이터와 대조해야만 찾을 수 있습니다.
EasyLaTeX에서 하는 방법
- 편집기 오른쪽의 AI 패널(Chat 모드)은 프로젝트의
.tex와.bib파일을 읽을 수 있습니다. 인용 키 목록을 만들고, DOI가 없거나 필드가 빠진 항목을 짚어 내고, 메타 코멘트로 보이는 문장을 찾아 달라고 요청하세요. 이 패널은 웹에 접근할 수 없으므로 논문이 실재하는지는 판단하지 못합니다. - 참고문헌의 실재 여부를 확인하려면 플랫폼 홈 화면의 Academic Agent(학술 에이전트)를 사용하세요. 웹 검색과 문헌 조회가 가능해 플래그가 붙은 항목을 하나씩 확인하기에 적합합니다.
- Agent 모드로
.bib를 수정하게 하면 변경 사항을 하나씩 수락하거나 거부할 수 있습니다. DOI를 추가하거나 연도를 바꾸기 전에 출판사 페이지를 직접 열어 확인하세요.
Python 스크립트는 로컬에서 실행합니다. EasyLaTeX에서 프로젝트 소스를 내려받아 실행하세요. 어떤 도구를 쓰든 참고문헌에 대한 책임은 모든 저자에게 있습니다.
투고 전 체크리스트
- 프로젝트가 컴파일되고 로그에
Citation undefined가 없다. - 인용한 모든 참고문헌을 Crossref로 대조했고,
CHECK항목은 하나씩 직접 확인했다. - AI가 제안하거나 작성한 참고문헌은 모두 열어서 확인했다.
- 핵심 주장을 뒷받침하는 원문 부분을 읽었다.
- 소스에 메타 코멘트, 자리표시자 숫자,
TODO가 없다. - 투고처 요구에 따라 AI 사용을 밝혔다. 연구 논문의 AI 사용 고지문을 참고하세요.
참고 자료
- Nature. Researchers who use hallucinated references to face arXiv ban (2026년 5월 19일).
- The Verge. ArXiv will ban researchers who upload papers full of AI slop (2026년 5월 15일, Dietterich의 게시물 인용).
- arXiv. Content Moderation (생성형 AI 정책 포함).
- Zhao Z. et al. LLM hallucinations in the wild: Large-scale evidence from non-existent citations (arXiv:2605.07723, 프리프린트).
- Times Higher Education. How can research platforms deal with the ‘AI slop’ deluge? (2026년 11월 3일, 11월 12일 업데이트).
- Crossref. REST API documentation.