KI-gestützte Literaturreviews: suchen, prüfen, synthetisieren
KI kann beim Suchen, Klassifizieren und Ordnen von Fachartikeln helfen. Die Verlässlichkeit eines Reviews hängt jedoch davon ab, ob die Literatur ausreichend abgedeckt ist und jede Aussage auf ihre Quelle zurückgeführt werden kann. Behandeln Sie KI-Ausgaben als ungeprüften Arbeitsentwurf: Dokumentieren Sie Auswahlgründe und Belegseiten und prüfen Sie die Originalarbeiten, bevor Sie die Synthese verfassen.
Zwei aktuelle Preprints zeigen Möglichkeiten und Grenzen. SurveyWeave teilt die Arbeit in Literatursuche, Gliederung, Zuordnung von Belegen und Synthese auf; Rückmeldungen können frühere Schritte ändern. Eine weitere Studie prüfte KI-Werkzeuge anhand eines bekannten Korpus von 102 meteorologischen Artikeln. Beide Ergebnisse gelten für konkrete Evaluationen und nicht automatisch für alle Fachgebiete oder Werkzeuge.
Was die aktuellen Studien zeigen
SurveyWeave berichtet für 36 Informatik- und Machine-Learning-Themen einen mittleren WeaveEval-Wert von 87,5; die stärkste automatische Survey-Baseline erreichte 81,3. Eine Survey-Erstellung dauerte im Mittel etwa 113 Minuten und kostete zu API-Listenpreisen ungefähr 27,80 US-Dollar. Die Evaluation nutzt auch modellbasierte Bewertungen und deckt nur eine begrenzte Themenauswahl ab. Der Wert ist keine allgemeine Kennzahl für faktische Genauigkeit.
Im 102-Artikel-Benchmark fanden fünf KI-Werkzeuge zusammen 57 Artikel aus dem bekannten Korpus; bei der ersten Suche fand kein einzelnes Werkzeug mehr als 42. In einem Vergleich mit und ohne Hochschulbibliothekszugang fand Codex 42 beziehungsweise 82 Artikel, Claude Code 15 beziehungsweise 79. Mit dem vollständigen Korpus erkannten die Werkzeuge alle 18 Artikel, die das Thema substanziell behandelten, stuften aber auch 40–79 % der bloßen Erwähnungen fälschlich als substanziell ein. Untersucht wurden ein meteorologisches Thema, bestimmte Werkzeugversionen und konkrete Zugangsbedingungen.
Schematische Darstellung, kein Produkt-Screenshot und keine Reproduktion der untersuchten Systeme.
Ein nachvollziehbarer Review-Workflow
1. Frage und Umfang festlegen
Notieren Sie vor der Suche die Forschungsfrage, den Zeitraum, Suchbegriffe, Studientypen sowie Ein- und Ausschlusskriterien. Ergänzen Sie Synonyme und benachbarte Themen, die irrelevante Treffer erzeugen können. Bewahren Sie bei systematischen oder Scoping-Reviews das Protokoll auf und begründen Sie spätere Änderungen.
2. Über mehrere Wege suchen
Nutzen Sie geeignete Fachdatenbanken und bei Bedarf Preprint-Indizes oder die Suche von Verlagen. Dokumentieren Sie Datenbank, vollständige Suchanfrage, Datum, Filter und Zugang zu Volltexten oder institutionellen Abonnements. Folgen Sie bei wichtigen Arbeiten den Zitierungen vorwärts und rückwärts. Entfernen Sie Duplikate zuerst anhand der DOI, danach anhand normalisierten Titels und Jahres. Suchtreffer sind Kandidaten und bilden nicht automatisch den vollständigen Bestand.
3. Auswahlentscheidungen und Gründe festhalten
Wenden Sie dieselben Kriterien auf Titel und Abstracts und danach auf Volltexte an. Speichern Sie für jeden Datensatz eine ID, bibliografische Angaben, Entscheidung, Begründung und Fundstelle. Ist ein Artikel nicht zugänglich, vermerken Sie dies, statt ihn als irrelevant zu behandeln. Der genannte Benchmark zeigt, dass institutioneller Zugriff die Trefferzahl eines Agenten stark verändern kann.
4. Vor dem Schreiben eine Evidenzmatrix anlegen
Erfassen Sie je Artikel Fragestellung, Methode und Kontext, Stichprobe oder Daten, Hauptergebnis, Einschränkungen sowie die Seiten oder Abschnitte, die einzelne Aussagen stützen. Trennen Sie Ergebnisse der Autoren von Ihrer feldübergreifenden Interpretation. Ein kurzes Zitat erleichtert das Wiederfinden, muss aber am PDF geprüft werden und ersetzt keine Synthese.
Nur eine Vorlage. Zeilen und Beschriftungen sind Beispiele, keine aus den Studien extrahierten Ergebnisse.
5. Nach der Forschungsfrage synthetisieren
Ordnen Sie Befunde nach Mechanismen, Methoden, Populationen, Ergebnissen oder Widersprüchen, die für die Frage relevant sind. Vergleichen Sie die tatsächlichen Bedingungen und Messgrößen. Kennzeichnen Sie widersprüchliche Ergebnisse, nicht untersuchte Populationen und Evidenzlücken. Behaupten Sie keinen Konsens, wenn die Quellen ihn nicht belegen.
6. Quellen von Menschen prüfen lassen
Prüfen Sie jede zentrale Aussage — bei kleinen Reviews alle Aussagen — anhand der zitierten Originalarbeit. Kontrollieren Sie, ob die Quelle existiert, die Seite die Aussage stützt und die Paraphrase Population, Methode und Unsicherheit beibehält. Prüfen Sie auch ältere Arbeiten, Verlagsabdeckung, nicht zugängliche Volltexte und Duplikate. Die Zuversicht eines Modells ist kein Beleg.
Eine wiederverwendbare Anweisung zur Datenextraktion
Arbeiten Sie mit einem festen Schema, artikelweise oder in kleinen nachvollziehbaren Gruppen. Fehlende Angaben sollen nicht erschlossen werden.
Use only the supplied paper. Return these fields:- Paper ID and full citation details visible in the source- Research question and study design- Population, data, or setting- Main result, preserving units and conditions- A short supporting quotation and PDF page number- Stated limitations- Relevance: core, background, or exclude, with a reasonIf a detail is absent, write "Not reported".Do not infer causality, consensus, statistical significance, or missing values.Separate the paper's conclusion from your interpretation.List unresolved questions separately.Prüfen Sie Zahlen, Nenner, Untergruppen und Zitate in den PDFs. Bei vielen Artikeln sollte eine zweite Person die Auswahlkriterien und einen Teil der Extraktion kontrollieren.
Evidenz und Literaturangaben in LaTeX verbinden
Das Beispiel verbindet Forschungsfrage, Evidenztabelle und BibTeX-Zitate. Die Tabellenzeilen sind fiktive Formatbeispiele und müssen durch geprüfte Einträge ersetzt werden.
\documentclass{article}\usepackage[margin=1in]{geometry}\usepackage[numbers]{natbib}\usepackage{booktabs}\begin{document}\section{Review question}How should an AI-assisted literature review track search coverage and evidence?\begin{table}[htbp]\centering\small\caption{Illustrative evidence ledger; verify each entry against its source.}\begin{tabular}{@{}p{0.15\linewidth}p{0.31\linewidth}p{0.43\linewidth}@{}}\topruleSource & Question & Evidence to verify \\\midruleStudy A & How does search access affect coverage? & Database, query, access route, and omitted records \\Study B & How well does synthesis reflect papers? & Claim, supporting page, limitations, and reviewer judgment \\\bottomrule\end{tabular}\end{table}Treat each cited statement as a claim that must be checked in the source \citep{zhang2026surveyweave,alkalbani2026benchmark}.\bibliographystyle{plainnat}\bibliography{references}\end{document}Speichern Sie den folgenden Inhalt als references.bib und gleichen Sie die Metadaten mit den Quellen ab:
@misc{zhang2026surveyweave, author = {Zhang, Franklin and Yang, Xiao and Dong, Xin Luna and Hu, Juhua}, title = {SurveyWeave: An Agentic Framework for Automated Survey Generation}, year = {2026}, eprint = {2611.19029}, archivePrefix = {arXiv}}@misc{alkalbani2026benchmark, author = {Al Kalbani, Abdullah and Schultz, David M. and Anderson-Frey, Alexandra K. and Zheng, Zhonghua and McGuire, Catherine}, title = {Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark}, year = {2026}, eprint = {2611.05459}, archivePrefix = {arXiv}}Kompilieren Sie mit pdflatex main.tex, bibtex main und danach zweimal mit pdflatex main.tex. Prüfen Sie .blg und .log auf fehlende Zitierkeys und Fehler in der Bibliografie. Eine Zeitschriftenvorlage kann andere Befehle oder Einstellungen benötigen.
Von Evidenznotizen zum Review-Entwurf
Ein Assistent kann auf Grundlage einer geprüften Evidenzmatrix einen Abschnitt entwerfen und für jede Tatsachenbehauptung eine Quellen-ID angeben. Gleichen Sie den Entwurf mit der Matrix ab und überarbeiten Sie die Argumentation selbst. Ein vorbereitetes .tex-Projekt lässt sich in EasyLaTeX bearbeiten und kompilieren. Siehe die Anleitung vom Projekt zum PDF und den Ablauf zur Prüfung von Referenzen. EasyLaTeX behauptet nicht, SurveyWeave oder die evaluierten Agenten zu integrieren oder auszuführen.
Quellen und Geltungsbereich
- Zhang, Yang, Dong und Hu, SurveyWeave: An Agentic Framework for Automated Survey Generation, arXiv:2611.19029, eingereicht am 14. November 2026. Preprint.
- Al Kalbani et al., Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark, arXiv:2611.05459, eingereicht am 3. November 2026. Preprint.
SurveyWeave untersucht vor allem Informatik- und Machine-Learning-Themen und nutzt modellbasierte Bewertungen. Die 102-Artikel-Studie umfasst ein meteorologisches Thema und bestimmte Werkzeugversionen. Die Ergebnisse beschreiben diese Evaluationen, nicht eine allgemeine Leistungsgarantie.