PaperOrchestra erklärt: von Versuchsprotokollen zum LaTeX-Entwurf
PaperOrchestra ist ein quelloffenes Multi-Agenten-Framework zum Schreiben wissenschaftlicher Artikel von Forschenden bei Google Cloud AI Research. Es verarbeitet Forschungsideen, Versuchsprotokolle und eine LaTeX-Vorlage. Einzelne Agenten übernehmen Gliederung, Literaturrecherche, Textentwurf und Überarbeitung; die Erstellung von Abbildungen ist optional. Das Verfahren richtet sich an Forschende mit vorhandenen Materialien, die einen bearbeitbaren Erstentwurf benötigen. Vor der Einreichung müssen Autoren Aussagen, Zahlen und Quellen prüfen.
Der Artikel wurde am 6. April 2026 bei arXiv eingereicht. Aktuelle Aufmerksamkeit bedeutet daher keine Neuveröffentlichung im November. Das Repository weist außerdem darauf hin, dass dies kein offiziell unterstütztes Google-Produkt ist. Die folgenden Dateinamen und Argumente wurden am 18. November 2026 mit dem offiziellen Quellcode abgeglichen.
Aufgaben der Agenten
| Phase | Aufgabe des Frameworks | Prüfung durch die Autoren |
|---|---|---|
| Gliederung | Materialien in einen Abschnittsplan überführen | Ist jeder Beitrag belegt? |
| Literatur | Arbeiten suchen und Datensätze über Semantic Scholar prüfen | Stützt die Quelle die jeweilige Aussage? |
| Schreiben | LaTeX aus Plan, Materialien und Vorlage erstellen | Stimmen Methoden, Symbole und Zahlen mit den Protokollen überein? |
| Überarbeitung | Entwurf anhand simulierter Begutachtung ändern | Entstehen Fehler oder weitergehende Schlussfolgerungen? |
| Optionale Grafiken | Plot-Code oder konzeptionelle Diagramme erzeugen | Sind Daten, Achsen, Einheiten und Methoden korrekt? |
Schematischer Ablauf. Die Autorenprüfung ist ein hier empfohlener zusätzlicher Schritt. Grafikerstellung und Schreiben greifen ineinander; die Darstellung bildet nicht alle internen Ausführungsschritte ab.
PaperWritingBench verwendet Materialien, die aus 200 Beiträgen von CVPR 2025 und ICLR 2025 rekonstruiert wurden. Damit lassen sich Schreibsysteme vergleichen. Reale Forschungsnotizen können jedoch lückenhaft sein. Die Ergebnisse sagen weder die Qualität Ihres Entwurfs noch seine Annahme voraus. Auch die Projektseite berichtet von einem verbleibenden Qualitätsabstand zu den menschlichen Originaltexten.
Eingaben mit nachvollziehbaren Belegen vorbereiten
Die CLI liest standardmäßig idea_sparse.md und experimental_log.md. Bei deaktivierter Grafikerstellung kopiert der Code figures/ und übergibt figures/info.json an den Schreibagenten. Bereiten Sie echte Abbildungen und zur verwendeten Version passende Beschreibungsmetadaten vor. Ein leerer Ordner belegt keine lauffähige Konfiguration.
raw_materials/ idea_sparse.md experimental_log.md figures/ accuracy.pdf info.jsonmy_template/ template.tex guidelines.md ... required class/style/bibliography filesDies ist ein Verzeichnisplan, kein vollständiges ausführbares Beispiel. Eine eigene Vorlage benötigt template.tex, guidelines.md sowie ihre Klassen-, Stil- und Bibliografiedateien. Halten Sie Seitenlimit, Anonymisierung und Vorgaben für Abbildungen und Literatur in guidelines.md fest. Das enthaltene CVPR-2025-Beispiel bestimmt nicht die aktuellen Regeln anderer Tagungen.
idea_sparse.md: Fragestellung und Grenzen
Die folgenden englischen Eingabevorlagen können für ein englischsprachiges Manuskript ausgefüllt werden.
# Research questionWhich claim are we testing, and against which baseline?# MethodDescribe the actual algorithm, assumptions and implementation.# Evidence mapClaim C1 -> experiment E1 -> recorded metrics and figure path.# LimitsList untested settings, negative results and missing experiments.Do not fill gaps with invented results or references.Ordnen Sie jedem Beitrag eine Beleg-ID zu. „Methode B verbessert die Genauigkeit“ braucht einen Versuch wie E1. Eine Übertragbarkeit auf andere Datensätze erfordert Tests mit diesen Datensätzen. Trennen Sie ungeprüfte Ideen von belegten Beiträgen.
experimental_log.md: Messbedingungen erhalten
# E1: illustrative data, not research findingsTask: classification on a fixed held-out splitMetric: accuracy (%)Baseline A: 82.1Method B: 83.4Difference: 1.3 percentage pointsRuns: one per method; uncertainty not estimatedInterpretation: descriptive comparison onlyNot supported: statistical significance or broad superiorityFigure: figures/accuracy.pdf (create from the recorded values)For real work also record: dataset version, split IDs, seeds,hyperparameters, code commit and raw result paths.Die Zahlen dienen nur der Erklärung. Eine Genauigkeit von 82,1 % statt 83,4 % unterscheidet sich um 1,3 Prozentpunkte. Der relative Zuwachs von 82,1 % auf 83,4 % beträgt ungefähr (83.4 - 82.1) / 82.1 × 100% = 1.58%. Diese Angaben sind nicht austauschbar. Ein Durchlauf je Methode belegt auch keine statistische Signifikanz.
Zahlenprüfung mit fiktiven Lehrdaten, keine Leistungsmessung von PaperOrchestra oder einem anderen Modell.
Dokumentieren Sie bei echten Versuchen Datensatzversion, Aufteilungs-IDs, Zufallsseeds, Hyperparameter, Code-Commit und Pfade der Rohresultate. Bildunterschriften sollten Messgröße, Einheit und Wiederholungen nennen. Unterscheiden Sie konzeptionelle Diagramme von Messwerten.
Umgebung und CLI-Aufruf
Das offizielle README verwendet Python 3.11 und requirements.txt. Konfigurieren Sie Zugangsdaten für die verwendeten Modelldienste und Semantic Scholar. Die PDF-Erstellung benötigt zudem eine funktionierende TeX-Umgebung und Vorlagenressourcen. Python-Pakete allein bilden keine vollständige Kompilierungsumgebung. Modellaufrufe können Kosten verursachen.
Nach Einrichtung von Abhängigkeiten, Zugangsdaten, Materialien und Vorlage sieht der Aufruf im Repository-Hauptverzeichnis so aus:
python paper_writing_cli.py \ --raw_materials_dir ./raw_materials \ --latex_template_dir ./my_template \ --output_dir ./runs/draft-001 \ --idea_filename idea_sparse.md \ --experimental_log_filename experimental_log.md \ --use_plotting falseDas Beispiel deaktiviert automatische Grafiken und verwendet vorbereitete Abbildungen. Für --use_plotting true müssen auch Plot- und Bildmodell konfiguriert werden. Verwenden Sie je Entwurf ein neues Ausgabeverzeichnis: Der aktuelle Code erstellt einige Zwischenverzeichnisse neu, und vermischte Durchläufe erschweren den Vergleich.
Argumente und Dateinamen wurden im Quellcode geprüft. Die gesamte Modell-Pipeline wurde nicht ausgeführt; Kosten, Laufzeit und Ausgabequalität wurden nicht gemessen. Dieser Beitrag erläutert Eingaben und Arbeitsablauf und ist keine vollständig getestete Installationsanleitung.
Den Entwurf gegen die Belege prüfen
- Vergleichen Sie jede Tabellenzelle und Zahlenangabe mit den Protokollen. Achten Sie auf Prozente, Prozentpunkte, Mittelwerte und Unsicherheit.
- Prüfen Sie Trainingsbedingungen, Vergleichsmethoden und Datenaufteilungen. Entfernen oder markieren Sie Versuche, die nur im generierten Text vorkommen.
- Lesen Sie die zitierten Quellen. Ein API-Datensatz belegt nicht, dass die Quelle die Aussage stützt. Nutzen Sie die Anleitung zur Quellenprüfung.
- Prüfen Sie Kompilierungsfehler, ungelöste Zitate und Querverweise sowie fehlende Bilder. Kontrollieren Sie anschließend Formeln, Bildunterschriften und Layout im PDF.
- Beachten Sie die Vorgaben zu Anonymität, Umfang und KI-Offenlegung und holen Sie die Zustimmung der Autoren ein. Ergänzen Sie Belege vor einer Prüfung vor der Einreichung.
Die Vorbereitung ohne Installation nutzen
In einem vorhandenen LaTeX-Projekt können Sie die beiden Materialdateien vorbereiten und nur einzelne Abschnitte entwerfen lassen. Dieser englische Prompt begrenzt die Aufgabe und kennzeichnet fehlende Belege:
Draft only the Methods and Results sections from the supplied materials.Map every numerical claim to an experiment ID and source file.Keep the recorded metric, unit, split and number of runs unchanged.Mark missing evidence as [AUTHOR CHECK: explain what is missing].Do not invent experiments, citations or statistical significance.Return proposed LaTeX and a list of unresolved questions separately.Klären und entfernen Sie sämtliche [AUTHOR CHECK: ...]-Markierungen vor der Einreichung. Prüfen Sie auch, ob die Ausgabe den Anweisungen tatsächlich folgt.
Für die Weiterarbeit in EasyLaTeX sammeln Sie die benötigten .tex-, .bib-, Stil- und Bilddateien im Projekt. Wählen Sie die richtige Hauptdatei und den von der Vorlage benötigten Compiler. Prüfen Sie nach dem Kompilieren Bug / Original Log und das PDF und laden Sie PDF sowie LaTeX-Projekt herunter. Einzelheiten stehen im Einstiegsleitfaden. Dies ist eine Dateiübergabe und keine Aussage über eine PaperOrchestra-Integration oder die Fortsetzung seiner Agenten.