PaperOrchestra 是什么?从实验记录到 LaTeX 论文初稿

博客EasyLaTeX发布于

PaperOrchestra 是 Google Cloud AI Research 研究人员提出的开源多 Agent 论文写作框架:输入研究想法、实验记录和 LaTeX 模板,由不同 Agent 完成提纲、文献检索、章节写作与修改,并可选择生成图表。它适合已有实验材料、需要整理初稿的研究者。生成的文件仍要逐项核对数据、论证和引用,才能进入投稿准备阶段。

它的论文于 2026 年 4 月 6 日提交至 arXiv。近期有关项目的讨论不代表它刚刚发布;官方仓库也注明,这不是 Google 正式支持的产品。以下文件与参数按 2026 年 11 月 18 日的官方源码核对。

PaperOrchestra 的 Agent 分别做什么?

阶段框架的工作作者要核对什么
提纲把研究材料组织为章节计划每项贡献是否有实验或推导支撑
文献综述检索候选文献,通过 Semantic Scholar API 核查并组织引用文献是否真的支持相邻论述
章节写作结合提纲、材料与模板生成 LaTeX方法细节、符号和结果是否忠于记录
内容修改根据模拟评审反馈迭代修改初稿修改有没有扩大结论或引入新错误
可选绘图生成绘图代码或概念图图中数据、坐标、单位与方法是否正确

流程示意:作者核验是本文建议补上的工作环节;可选绘图也会与写作配合,图中不表示完整的内部执行时序。

项目的 PaperWritingBench 来自 200 篇 CVPR 2025 和 ICLR 2025 论文反向整理的研究材料。这能帮助比较写作系统,但真实研究笔记常有缺项,不能据此推断自己的项目也能获得同样质量,更不能将评测成绩理解为论文录用率。项目页面也指出,系统与人工原稿仍存在质量差距。

先准备一份能追溯证据的材料包

CLI 默认读取 idea_sparse.md 与 experimental_log.md。关闭绘图时,源码会从材料目录复制 figures/,章节写作还会接收 figures/info.json 路径。准备已有图像及与所用版本匹配的说明元数据;仅创建一个空文件夹不足以验证整个流程可运行。

Plain text
raw_materials/  idea_sparse.md  experimental_log.md  figures/    accuracy.pdf    info.jsonmy_template/  template.tex  guidelines.md  ... required class/style/bibliography files

这是一份目录规划,不是开箱即用的完整项目。自定义模板目录应有 template.tex、guidelines.md,并保留它依赖的 .cls、.sty、参考文献样式等文件。guidelines.md 记录目标期刊或会议的篇幅、匿名、图表和参考文献要求。仓库里的 CVPR 2025 示例不能自动代表其他会议或年份的要求。

用 idea_sparse.md 说明研究问题与边界

下面的英文材料模板可以复制填写;文件内容采用英语,便于与仓库示例和英文论文流程衔接。

Markdown
# Research questionWhich claim are we testing, and against which baseline?​# MethodDescribe the actual algorithm, assumptions and implementation.​# Evidence mapClaim C1 -> experiment E1 -> recorded metrics and figure path.​# LimitsList untested settings, negative results and missing experiments.Do not fill gaps with invented results or references.

给每条贡献配一个证据编号。例如,“方法 B 提高分类准确率”需要对应实验 E1;“适用于其他数据集”则需要其他数据集上的验证。没有证据的设想应留在待验证清单,不能混进已完成贡献。

用 experimental_log.md 保留数值的条件

Markdown
# E1: illustrative data, not research findingsTask: classification on a fixed held-out splitMetric: accuracy (%)Baseline A: 82.1Method B: 83.4Difference: 1.3 percentage pointsRuns: one per method; uncertainty not estimatedInterpretation: descriptive comparison onlyNot supported: statistical significance or broad superiorityFigure: figures/accuracy.pdf (create from the recorded values)For real work also record: dataset version, split IDs, seeds,hyperparameters, code commit and raw result paths.

这里的 82.1 和 83.4 是演示数据。若指标为准确率百分数,差值是 1.3 个百分点;相对提升约为 (83.4 - 82.1) / 82.1 × 100% = 1.58%。两者不能互换。每个方法只运行一次,也不足以宣称差异具有统计显著性。

数值核验示意,使用虚构的教学数据;这些数值不代表 PaperOrchestra 或任何模型的性能。

真实日志还应记录数据集版本、划分、随机种子、超参数、代码提交与原始结果路径。图注要写清测量对象、单位和重复次数;概念图与实测图也应分清。

要运行框架,还需哪些准备?

官方 README 使用 Python 3.11 环境及 requirements.txt,并要求按实际使用的服务配置模型凭证和 Semantic Scholar API 凭证。生成 PDF 还依赖可用的 TeX 工具链及模板资源;安装 Python 包并不等于已配置全部编译依赖。模型调用也可能产生费用。

在仓库根目录、依赖和凭证已配置、材料与模板齐备的条件下,CLI 调用形式如下:

Shell
python paper_writing_cli.py \  --raw_materials_dir ./raw_materials \  --latex_template_dir ./my_template \  --output_dir ./runs/draft-001 \  --idea_filename idea_sparse.md \  --experimental_log_filename experimental_log.md \  --use_plotting false

这个例子显式关闭自动绘图,以使用自己准备的图表。若开启 --use_plotting true,还要核对绘图与图像模型配置。输出目录使用新路径,避免把不同轮次的材料和修改混在一起;当前代码会重新创建部分中间目录。

以上命令和文件名已对照源码,本文未执行完整模型流水线,也未测量耗时、费用或生成质量。这是一篇材料准备与工作流程指南,不能作为安装成功的保证。

初稿生成后,按证据核对,而不只看 PDF

  1. 对照实验记录检查每个表格单元格和正文数字,特别留意百分比、百分点、平均值与误差范围。
  2. 确认训练设置、比较基线和数据划分一致。正文出现日志中没有的实验时,先删除或标为待核实。
  3. 阅读引用原文。API 能查到文献,只说明找到了记录;是否支持当前论断仍需判断,详见参考文献核查流程。
  4. 核查编译日志中的错误、未解析引用、交叉引用和缺失图片,再检查 PDF 的公式、图注及版面。
  5. 根据目标刊会要求处理匿名、篇幅、AI 使用声明和作者确认;补充完成后再做投稿前预审。

不安装 PaperOrchestra,也能沿用材料准备方式

已有 LaTeX 项目的作者,可以先用上面的两个材料模板整理证据,然后只让 AI 起草一个章节。以下英文提示词限制了改写范围,并要求把缺失信息留给作者确认:

Plain text
Draft only the Methods and Results sections from the supplied materials.Map every numerical claim to an experiment ID and source file.Keep the recorded metric, unit, split and number of runs unchanged.Mark missing evidence as [AUTHOR CHECK: explain what is missing].Do not invent experiments, citations or statistical significance.Return proposed LaTeX and a list of unresolved questions separately.

[AUTHOR CHECK: ...] 是工作标记,全部核实并清除后再提交论文。提示词能表达要求,仍需人工检查模型是否遵守。

在 EasyLaTeX 中继续编辑时,把所需 .tex、.bib、样式文件和图像整理到项目内,选择真正的主文件,并按目标模板选择编译器。编译后在 Bug / Original Log 检查问题,核对 PDF,再下载 PDF 与 LaTeX 源项目留档。具体操作见从项目到 PDF 的入门指南。这是一种文件交接方式,不代表 EasyLaTeX 已集成 PaperOrchestra 或能自动接续其 Agent 流程。

资料来源