AI 문헌 리뷰 워크플로: 검색, 검증, 종합

블로그EasyLaTeX게시일

AI는 논문 검색, 분류, 정리를 도울 수 있지만 문헌 리뷰의 신뢰성은 검색 범위가 충분한지, 각 주장을 원문까지 추적할 수 있는지에 달려 있습니다. AI 결과는 검토 전 초안으로 다루세요. 논문을 포함한 이유와 근거 페이지를 기록하고, 최종 종합을 쓰기 전에 원문을 직접 확인합니다.

최근 발표된 프리프린트 두 편은 가능성과 한계를 함께 보여 줍니다. SurveyWeave는 논문 수집, 개요 작성, 근거 배정, 종합 작성을 여러 에이전트가 반복 검토하도록 설계했습니다. 다른 연구는 이미 알려진 기상학 논문 102편을 기준으로 AI 검색과 해석을 평가했습니다. 두 결과는 특정 평가에 관한 것이며 모든 분야와 도구에 그대로 적용되지 않습니다.

최근 연구가 보여 주는 것

SurveyWeave는 컴퓨터 과학 및 머신러닝 분야의 36개 주제에서 평균 WeaveEval 점수 87.5를 보고했습니다. 가장 높은 자동 문헌 리뷰 기준선은 81.3이었습니다. 리뷰 한 편을 만드는 데 평균 약 113분, API 정가 기준 약 27.80달러가 들었습니다. 평가는 모델 기반 채점도 포함하고 주제 범위도 제한적이므로 이 점수를 모든 분야의 사실 정확도로 해석하면 안 됩니다.

102편 벤치마크에서는 AI 도구 5개가 알려진 논문 중 총 57편을 찾았고, 첫 검색에서 단일 도구가 찾은 최대치는 42편이었습니다. 대학 도서관 세션 전후 비교에서 Codex는 42편에서 82편으로, Claude Code는 15편에서 79편으로 늘었습니다. 전체 논문을 제공한 해석 실험에서는 주제를 실질적으로 다룬 18편을 모두 찾아냈지만, 단순 언급에 그친 논문의 40~79%도 실질 연구로 잘못 분류했습니다. 이 연구는 하나의 기상학 주제, 특정 도구 버전과 접근 조건만 다룹니다.

작업 흐름을 설명하는 그림입니다. 실제 제품 화면이나 연구 시스템을 재현한 것이 아닙니다.

추적 가능한 문헌 리뷰 절차

1. 질문과 범위를 먼저 정하기

검색 전에 연구 질문, 기간, 주제어, 연구 유형, 포함 및 제외 기준을 기록합니다. 동의어와 혼동하기 쉬운 인접 주제도 적어 둡니다. 체계적 리뷰나 범위 리뷰에서는 프로토콜을 보관하고 기준을 바꿨다면 이유를 남깁니다.

2. 여러 경로로 검색하기

분야에 맞는 데이터베이스를 사용하고 필요하면 프리프린트 색인이나 출판사 검색을 추가합니다. 데이터베이스, 검색식, 날짜, 필터, 원문 또는 기관 구독 접근 여부를 기록합니다. 핵심 논문의 참고문헌과 인용 논문도 확인합니다. DOI로 중복을 제거하고 정규화한 제목과 연도로 다시 확인하세요. 검색 결과는 후보 목록이지 기본적으로 완전한 문헌 집합은 아닙니다.

3. 선별 결정과 이유를 남기기

동일한 기준으로 제목과 초록을 검토한 뒤 원문을 확인합니다. 각 항목에 ID, 서지 정보, 결정, 이유, 출처 위치를 기록합니다. 원문을 가져올 수 없다면 무관하다고 처리하지 말고 접근 불가로 표시합니다. 앞선 벤치마크는 기관 접근 권한이 검색 결과를 크게 바꿀 수 있음을 보여 줍니다.

4. 글을 쓰기 전 근거 행렬 만들기

논문별로 연구 질문, 방법과 환경, 표본 또는 데이터, 주요 결과, 한계, 각 주장 근거가 있는 페이지나 절을 기록합니다. 저자의 결과와 여러 논문을 종합한 자신의 해석을 분리합니다. 짧은 직접 인용은 위치를 찾는 데 유용하지만 PDF에서 대조해야 하며 종합 분석을 대신하지 않습니다.

설명용 템플릿입니다. 행과 레이블은 예시이며 실제 연구 결과에서 추출한 내용이 아닙니다.

5. 논문별 요약 대신 질문에 따라 종합하기

연구 질문에 맞춰 기제, 방법, 대상, 결과 또는 논쟁점을 기준으로 묶습니다. 연구 조건과 측정 지표를 비교하고 상충하는 결과, 다루지 않은 집단, 근거 공백을 표시합니다. 자료가 뒷받침하지 않으면 합의가 있다고 쓰지 마세요.

6. 사람이 원문을 확인하기

핵심 주장을 모두 또는 소규모 리뷰라면 전부 인용 원문과 대조합니다. 문헌이 실제로 존재하는지, 페이지가 주장을 뒷받침하는지, 바꾸어 쓰면서 대상·방법·불확실성이 달라지지 않았는지 확인합니다. 오래된 연구, 출판사별 누락, 접근할 수 없는 원문, 중복도 살핍니다. 모델의 확신은 근거가 아닙니다.

논문별 정보 추출 프롬프트

고정된 항목으로 논문을 하나씩 또는 추적 가능한 소규모 묶음으로 처리합니다. 원문에 없는 내용은 추론하지 않도록 지시하세요.

Plain text
Use only the supplied paper. Return these fields:- Paper ID and full citation details visible in the source- Research question and study design- Population, data, or setting- Main result, preserving units and conditions- A short supporting quotation and PDF page number- Stated limitations- Relevance: core, background, or exclude, with a reason​If a detail is absent, write "Not reported".Do not infer causality, consensus, statistical significance, or missing values.Separate the paper's conclusion from your interpretation.List unresolved questions separately.

추출 결과의 수치, 분모, 하위 집단 정의와 인용문은 PDF 원문에서 확인합니다. 논문이 많다면 다른 연구자에게 선별 기준과 일부 추출 행을 검토받으세요.

LaTeX에서 근거와 참고문헌 연결하기

다음 예시는 연구 질문, 근거 표, BibTeX 인용을 포함합니다. 표의 행은 형식 설명을 위한 가상 예시이므로 확인된 자료로 바꾸세요.

LaTeX
\documentclass{article}\usepackage[margin=1in]{geometry}\usepackage[numbers]{natbib}\usepackage{booktabs}​\begin{document}\section{Review question}How should an AI-assisted literature review track search coverage and evidence?​\begin{table}[htbp]\centering\small\caption{Illustrative evidence ledger; verify each entry against its source.}\begin{tabular}{@{}p{0.15\linewidth}p{0.31\linewidth}p{0.43\linewidth}@{}}\topruleSource & Question & Evidence to verify \\\midruleStudy A & How does search access affect coverage? & Database, query, access route, and omitted records \\Study B & How well does synthesis reflect papers? & Claim, supporting page, limitations, and reviewer judgment \\\bottomrule\end{tabular}\end{table}​Treat each cited statement as a claim that must be checked in the source \citep{zhang2026surveyweave,alkalbani2026benchmark}.​\bibliographystyle{plainnat}\bibliography{references}\end{document}

아래 내용을 references.bib로 저장하고 서지 메타데이터를 원문과 대조하세요.

bibtex
@misc{zhang2026surveyweave,  author        = {Zhang, Franklin and Yang, Xiao and Dong, Xin Luna and Hu, Juhua},  title         = {SurveyWeave: An Agentic Framework for Automated Survey Generation},  year          = {2026},  eprint        = {2611.19029},  archivePrefix = {arXiv}}​@misc{alkalbani2026benchmark,  author        = {Al Kalbani, Abdullah and Schultz, David M. and Anderson-Frey, Alexandra K. and Zheng, Zhonghua and McGuire, Catherine},  title         = {Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark},  year          = {2026},  eprint        = {2611.05459},  archivePrefix = {arXiv}}

pdflatex main.tex, bibtex main, pdflatex main.tex 순서로 실행하고 마지막 명령을 두 번 수행해 인용을 반영합니다. .blg 및 .log 파일에서 인용 키 누락과 참고문헌 오류를 확인하세요. 학술지 템플릿에 따라 인용 명령이나 설정은 다를 수 있습니다.

근거 노트에서 리뷰 초안으로

검토가 끝난 근거 행렬을 바탕으로 한 절만 작성하게 하고, 사실 주장마다 출처 ID를 표시하도록 요청할 수 있습니다. 결과를 행렬과 대조한 뒤 논리는 저자가 편집합니다. 준비한 .tex 프로젝트는 EasyLaTeX에서 편집하고 컴파일할 수 있습니다. 프로젝트에서 PDF까지 안내와 참고문헌 검증 절차를 확인하세요. EasyLaTeX가 SurveyWeave 또는 평가된 에이전트를 통합하거나 실행한다는 뜻은 아닙니다.

출처와 적용 범위

SurveyWeave는 주로 컴퓨터 과학과 머신러닝을 평가하며 모델 기반 채점을 포함합니다. 102편 연구는 하나의 기상학 주제와 특정 도구 버전을 다룹니다. 결과는 해당 평가에 관한 관찰이지 보편적인 성능 보장이 아닙니다.