Что такое PaperOrchestra: от журналов экспериментов к LaTeX

БлогEasyLaTeXОпубликовано

PaperOrchestra представляет собой открытый многоагентный фреймворк для подготовки научных статей, предложенный исследователями Google Cloud AI Research. Он получает идеи, журналы экспериментов и шаблон LaTeX, затем распределяет составление плана, поиск литературы, написание разделов и редактирование между агентами. Генерация иллюстраций включается отдельно. Такой подход полезен, когда исследовательские материалы уже собраны и нужен редактируемый черновик. Перед подготовкой к подаче авторы должны проверить утверждения, числа и ссылки.

Статья поступила в arXiv 6 апреля 2026 года. Недавний интерес к проекту не означает, что он впервые появился в ноябре. В репозитории также указано, что это не продукт с официальной поддержкой Google. Приведённые имена файлов и параметры сверены с официальным кодом 18 ноября 2026 года.

За что отвечают агенты

ЭтапРабота системыПроверка автора
ПланОрганизация материалов по разделамЕсть ли доказательства для каждого заявленного вклада?
ЛитератураПоиск работ и проверка записей через Semantic ScholarПодтверждает ли источник конкретное утверждение?
НаписаниеПодготовка LaTeX по плану, материалам и шаблонуСоответствуют ли методы, обозначения и числа журналам?
РедактированиеПравки по результатам имитации рецензированияНе появились ли ошибки и слишком широкие выводы?
Необязательные иллюстрацииКод графиков или концептуальные схемыВерны ли данные, оси, единицы и методы?

Схема работы. Проверка автора добавлена как рекомендация этой статьи. Создание иллюстраций связано с написанием текста; схема не воспроизводит всю внутреннюю последовательность выполнения.

В PaperWritingBench используются материалы, восстановленные по 200 статьям CVPR 2025 и ICLR 2025. Это позволяет сравнивать системы написания, но реальные исследовательские заметки часто неполны. Результаты теста не предсказывают качество вашего черновика или принятие статьи. Страница проекта также отмечает сохраняющееся отставание от человеческих оригиналов.

Подготовьте материалы с прослеживаемыми доказательствами

По умолчанию CLI читает idea_sparse.md и experimental_log.md. Если генерация графиков отключена, код копирует figures/ и передаёт путь figures/info.json агенту написания разделов. Нужны реальные изображения и описательные метаданные, совместимые с вашей версией. Пустая папка ещё не означает, что весь процесс сможет выполниться.

Plain text
raw_materials/  idea_sparse.md  experimental_log.md  figures/    accuracy.pdf    info.jsonmy_template/  template.tex  guidelines.md  ... required class/style/bibliography files

Это план каталогов, а не готовый запускаемый проект. Собственный шаблон должен содержать template.tex, guidelines.md и необходимые файлы классов, стилей и библиографии. Укажите в guidelines.md объём, требования к анонимности, рисункам и ссылкам. Пример CVPR 2025 не определяет актуальные правила другой конференции.

idea_sparse.md: вопрос и границы исследования

Заготовки ниже даны на английском для использования при работе над англоязычной статьёй.

Markdown
# Research questionWhich claim are we testing, and against which baseline?​# MethodDescribe the actual algorithm, assumptions and implementation.​# Evidence mapClaim C1 -> experiment E1 -> recorded metrics and figure path.​# LimitsList untested settings, negative results and missing experiments.Do not fill gaps with invented results or references.

Свяжите каждый вклад с идентификатором доказательства. Для «метод B повышает точность» нужен эксперимент вроде E1. Для обобщения на другие наборы данных нужны проверки на этих наборах. Отделяйте непроверенные идеи от подтверждённых результатов.

experimental_log.md: условия измерения

Markdown
# E1: illustrative data, not research findingsTask: classification on a fixed held-out splitMetric: accuracy (%)Baseline A: 82.1Method B: 83.4Difference: 1.3 percentage pointsRuns: one per method; uncertainty not estimatedInterpretation: descriptive comparison onlyNot supported: statistical significance or broad superiorityFigure: figures/accuracy.pdf (create from the recorded values)For real work also record: dataset version, split IDs, seeds,hyperparameters, code commit and raw result paths.

Числа приведены только для обучения. Переход от точности 82,1% к 83,4% даёт 1,3 процентного пункта. Относительный прирост составляет примерно (83.4 - 82.1) / 82.1 × 100% = 1.58%. Эти формулировки нельзя подменять друг другом. Одного запуска каждого метода также недостаточно для утверждения о статистической значимости.

Схема проверки чисел на вымышленных учебных данных, а не измерение качества PaperOrchestra или другой модели.

В реальном журнале фиксируйте версию набора данных, разбиения, случайные начальные значения, гиперпараметры, коммит кода и пути к исходным результатам. Подписи к рисункам должны указывать измеряемую величину, единицы и число повторов. Различайте концептуальные схемы и измеренные результаты.

Окружение и вызов CLI

В официальном README используются Python 3.11 и requirements.txt. Настройте ключи нужных модельных сервисов и Semantic Scholar. Для PDF необходимы также рабочая система TeX и ресурсы шаблона. Установка Python-пакетов сама по себе не завершает настройку компиляции. Вызовы моделей могут быть платными.

Когда зависимости, ключи, материалы и шаблон готовы, команда из корня репозитория имеет следующий вид:

Shell
python paper_writing_cli.py \  --raw_materials_dir ./raw_materials \  --latex_template_dir ./my_template \  --output_dir ./runs/draft-001 \  --idea_filename idea_sparse.md \  --experimental_log_filename experimental_log.md \  --use_plotting false

В примере автоматическая генерация графиков отключена: используются подготовленные изображения. При --use_plotting true проверьте также настройки моделей графиков и изображений. Для каждого черновика выбирайте новый выходной каталог: текущий код пересоздаёт часть промежуточных папок, а смешение запусков затрудняет проверку изменений.

Параметры и имена файлов сверены с исходным кодом. Полный процесс с моделями не запускался; стоимость, время и качество результата не измерялись. Это руководство по входным материалам и организации работы, а не полностью проверенная инструкция по установке.

Сверяйте черновик с доказательствами

  1. Сопоставьте каждую ячейку таблиц и число в тексте с журналами. Различайте проценты, процентные пункты, средние и неопределённость.
  2. Проверьте условия обучения, базовые методы и разбиения. Удалите или пометьте эксперименты, появившиеся только в сгенерированном тексте.
  3. Прочитайте цитируемые работы. Найденная API-запись не доказывает поддержку утверждения. Используйте порядок проверки ссылок.
  4. Проверьте ошибки компиляции, неразрешённые цитирования и перекрёстные ссылки, отсутствующие изображения. Затем просмотрите формулы, подписи и вёрстку PDF.
  5. Выполните требования площадки к анонимности, объёму, раскрытию применения ИИ и согласованию с авторами. Восполните доказательства перед проверкой до подачи.

Используйте подготовку материалов без установки

В существующем проекте LaTeX можно заполнить два файла материалов и попросить ИИ написать только отдельные разделы. Этот англоязычный запрос ограничивает задачу и выделяет недостающие доказательства:

Plain text
Draft only the Methods and Results sections from the supplied materials.Map every numerical claim to an experiment ID and source file.Keep the recorded metric, unit, split and number of runs unchanged.Mark missing evidence as [AUTHOR CHECK: explain what is missing].Do not invent experiments, citations or statistical significance.Return proposed LaTeX and a list of unresolved questions separately.

Перед подачей разберите и удалите все пометки [AUTHOR CHECK: ...]. Проверяйте и соблюдение самих инструкций моделью.

Чтобы продолжить в EasyLaTeX, соберите в проекте нужные .tex, .bib, стили и изображения. Выберите основной файл и компилятор, требуемый шаблоном. После компиляции изучите Bug / Original Log и PDF, затем скачайте PDF и проект LaTeX. Подробности есть в руководстве по началу работы. Это передача файлов, а не заявление об интеграции PaperOrchestra или продолжении работы его агентов.

Источники

Что такое PaperOrchestra: от журналов экспериментов к LaTeX | EasyLaTeX