PaperOrchestra : des notes d’expérience au brouillon LaTeX

BlogEasyLaTeXPublié le

PaperOrchestra est un framework open source de rédaction scientifique multi-agents proposé par des chercheurs de Google Cloud AI Research. Il reçoit des idées, des journaux d’expériences et un modèle LaTeX, puis répartit le plan, la recherche bibliographique, la rédaction et la révision entre plusieurs agents. La production de figures est facultative. Il s’adresse aux chercheurs qui disposent déjà de matériaux de recherche et souhaitent préparer un premier brouillon modifiable. Les affirmations, chiffres et références doivent ensuite être vérifiés par les auteurs.

L’article a été soumis à arXiv le 6 avril 2026. L’intérêt récent ne correspond donc pas à un lancement en novembre. Le dépôt précise aussi qu’il ne s’agit pas d’un produit officiellement pris en charge par Google. Les noms de fichiers et arguments ci-dessous ont été vérifiés dans le code officiel le 18 novembre 2026.

Le rôle des agents

ÉtapeTravail du systèmeVérification de l’auteur
PlanOrganiser les matériaux en sectionsChaque contribution est-elle étayée ?
BibliographieRechercher des articles et vérifier les notices via Semantic ScholarLa source soutient-elle l’affirmation ?
RédactionProduire du LaTeX à partir du plan et des matériauxMéthodes, symboles et chiffres respectent-ils les notes ?
RévisionModifier le texte après une évaluation simuléeLa révision ajoute-t-elle des erreurs ou élargit-elle les conclusions ?
Figures facultativesGénérer du code de tracé ou des schémas conceptuelsDonnées, axes, unités et méthodes sont-ils corrects ?

Schéma du travail. La vérification par l’auteur est une étape supplémentaire recommandée ici. La création des figures interagit avec la rédaction ; le schéma ne décrit pas toute la séquence interne.

PaperWritingBench utilise des matériaux reconstitués à partir de 200 articles de CVPR 2025 et d’ICLR 2025. Cela permet de comparer des systèmes de rédaction, mais les notes d’une recherche en cours peuvent être incomplètes. Les résultats ne prédisent ni la qualité de votre brouillon ni son acceptation. La page du projet signale également un écart de qualité avec les textes humains d’origine.

Préparer des matériaux dont les preuves sont traçables

La CLI attend par défaut idea_sparse.md et experimental_log.md. Lorsque la création de figures est désactivée, le code copie figures/ et transmet le chemin figures/info.json à l’agent de rédaction. Préparez de vraies images et des métadonnées descriptives compatibles avec votre version. Un dossier vide ne suffit pas à établir que le processus fonctionnera.

Plain text
raw_materials/  idea_sparse.md  experimental_log.md  figures/    accuracy.pdf    info.jsonmy_template/  template.tex  guidelines.md  ... required class/style/bibliography files

Il s’agit d’un plan de classement, pas d’un projet complet exécutable. Un modèle personnalisé nécessite template.tex, guidelines.md et ses fichiers de classe, de style et de bibliographie. Indiquez dans guidelines.md les limites de longueur, l’anonymisation et les règles des figures et références. L’exemple CVPR 2025 ne fixe pas les exigences actuelles d’une autre conférence.

idea_sparse.md : question et limites

Ces modèles de saisie en anglais peuvent accompagner la rédaction d’un article dans cette langue.

Markdown
# Research questionWhich claim are we testing, and against which baseline?​# MethodDescribe the actual algorithm, assumptions and implementation.​# Evidence mapClaim C1 -> experiment E1 -> recorded metrics and figure path.​# LimitsList untested settings, negative results and missing experiments.Do not fill gaps with invented results or references.

Associez chaque contribution à une preuve identifiée. « La méthode B améliore l’exactitude » nécessite une expérience telle que E1. Une généralisation à d’autres jeux de données exige des tests sur ces jeux. Séparez les idées non testées des résultats établis.

experimental_log.md : conserver les conditions de mesure

Markdown
# E1: illustrative data, not research findingsTask: classification on a fixed held-out splitMetric: accuracy (%)Baseline A: 82.1Method B: 83.4Difference: 1.3 percentage pointsRuns: one per method; uncertainty not estimatedInterpretation: descriptive comparison onlyNot supported: statistical significance or broad superiorityFigure: figures/accuracy.pdf (create from the recorded values)For real work also record: dataset version, split IDs, seeds,hyperparameters, code commit and raw result paths.

Ces chiffres sont illustratifs. Passer de 82,1 % à 83,4 % d’exactitude correspond à 1,3 point de pourcentage. L’augmentation relative est d’environ (83.4 - 82.1) / 82.1 × 100% = 1.58%. Ces formulations ne sont pas interchangeables. Une seule exécution par méthode ne démontre pas non plus une différence statistiquement significative.

Vérification numérique avec des données pédagogiques fictives, sans mesure des performances de PaperOrchestra ou d’un autre modèle.

Pour une vraie expérience, consignez version du jeu de données, identifiants des partitions, graines aléatoires, hyperparamètres, commit et chemins des résultats bruts. Les légendes doivent préciser mesure, unité et répétitions. Distinguez schémas conceptuels et résultats mesurés.

Préparer l’environnement et appeler la CLI

Le README officiel utilise Python 3.11 et requirements.txt. Configurez les identifiants des services de modèles utilisés et de Semantic Scholar. La production du PDF dépend aussi d’une chaîne TeX fonctionnelle et des ressources du modèle. Les paquets Python ne constituent pas à eux seuls un environnement de compilation complet. Les appels aux modèles peuvent être facturés.

Une fois dépendances, identifiants, matériaux et modèle prêts, la commande lancée à la racine du dépôt prend cette forme :

Shell
python paper_writing_cli.py \  --raw_materials_dir ./raw_materials \  --latex_template_dir ./my_template \  --output_dir ./runs/draft-001 \  --idea_filename idea_sparse.md \  --experimental_log_filename experimental_log.md \  --use_plotting false

Cet exemple désactive les tracés automatiques pour utiliser vos figures. Avec --use_plotting true, vérifiez également les paramètres des modèles de tracé et d’image. Utilisez un nouveau dossier de sortie pour chaque brouillon : le code actuel recrée certains dossiers intermédiaires et mélanger les exécutions complique le suivi.

Les arguments et fichiers ont été vérifiés dans le code. Nous n’avons pas exécuté la chaîne complète avec les modèles, ni mesuré coût, durée ou qualité. Ce guide porte sur la préparation des entrées et l’organisation du travail, pas sur une installation testée de bout en bout.

Vérifier le brouillon à partir des preuves

  1. Comparez chaque cellule et chaque chiffre aux journaux, en distinguant pourcentages, points de pourcentage, moyennes et incertitudes.
  2. Vérifiez conditions d’entraînement, méthodes de référence et partitions. Supprimez ou signalez les expériences présentes uniquement dans le texte généré.
  3. Lisez les sources citées. Une notice trouvée par API ne démontre pas le bien-fondé de l’affirmation. Consultez la procédure de vérification des références.
  4. Examinez erreurs de compilation, citations et renvois non résolus, et figures manquantes. Contrôlez ensuite les équations, légendes et la mise en page du PDF.
  5. Respectez les règles de la revue ou conférence : anonymat, longueur, déclaration d’usage de l’IA et validation des auteurs. Complétez les preuves avant une relecture avant soumission.

Utiliser cette préparation sans installer le framework

Si vous avez déjà un projet LaTeX, préparez les deux fichiers puis demandez la rédaction de quelques sections seulement. Cette consigne en anglais limite le périmètre et fait ressortir les preuves manquantes :

Plain text
Draft only the Methods and Results sections from the supplied materials.Map every numerical claim to an experiment ID and source file.Keep the recorded metric, unit, split and number of runs unchanged.Mark missing evidence as [AUTHOR CHECK: explain what is missing].Do not invent experiments, citations or statistical significance.Return proposed LaTeX and a list of unresolved questions separately.

Résolvez et retirez tous les marqueurs [AUTHOR CHECK: ...] avant la soumission. Une consigne exprime des exigences ; leur respect doit être contrôlé.

Pour poursuivre dans EasyLaTeX, rassemblez les fichiers .tex, .bib, styles et images dans le projet. Sélectionnez le vrai fichier principal et le compilateur exigé par le modèle. Après compilation, consultez Bug / Original Log, relisez le PDF et téléchargez le PDF ainsi que le projet LaTeX. Voir le guide de démarrage. Il s’agit d’un transfert de fichiers, sans intégration revendiquée de PaperOrchestra ni reprise de ses agents.

Sources