SplatLab rédige seul des articles sur le 3D Gaussian Splatting et dépasse les baselines jusqu'à +3,78 dB

Reproduire un article publié sur le 3D Gaussian Splatting représente des semaines de travail pour un ingénieur expérimenté, et ce n'est qu'ensuite qu'il peut proposer sa propre extension. SplatLab cherche à supprimer entièrement ce goulet d'étranglement. Le système accepte une requête de recherche, un lien vers un article cible ou rien du tout. Il reproduit ensuite la baseline, imagine une extension, l'entraîne et en réalise l'ablation sur Mip-NeRF 360 et LLFF, puis rédige un manuscrit. Sur les tâches dotées d'une métrique cible PSNR, ses textes dépassent les cibles reproduites de +0,18 à +3,78 dB. Un cycle qui prend des mois à un doctorant se comprime en quelques jours de calcul, pour l'essentiel autonome.

Pourquoi les « AI-scientifiques » précédents patinaient

Des systèmes qui lisent des articles, formulent des hypothèses et écrivent du code existent déjà. Les auteurs de SplatLab leur reprochent trois faiblesses : des gabarits courts et figés, une faible exécutabilité du code généré et une traçabilité médiocre des résultats. De plus, aucun de ces systèmes n'a été démontré en cycle de bout en bout dans un domaine de la vision par ordinateur à la fois dynamique et très concurrentiel. Le 3DGS correspond précisément à ce profil : les articles s'enchaînent, et les écarts entre méthodes se mesurent en dixièmes de décibel.

Cinq choix de conception dans le pipeline

Premièrement : les candidats ne mutent pas à partir d'un code écrit de zéro, mais sous forme de plugins greffés sur une implémentation éprouvée, qui coïncide déjà avec les baselines publiées. Cela restreint l'espace de recherche à des variantes fonctionnelles.

Deuxièmement : la sélection passe par un tournoi avec un classement Elo pondéré en cascade, réparti sur huit « îles ». Les candidats sont évalués sur le PSNR mesuré sur GPU, et le retour d'information prend la forme d'un gradient textuel, c'est-à-dire d'une analyse rédigée de ce qui a fonctionné et de ce qui a échoué.

Troisièmement : un falsificateur tourne en permanence et retire des points Elo à un candidat qui échoue aux tests de résistance. La robustesse à la vérification fait ainsi partie de la sélection, au lieu de constituer une étape distincte après elle.

Quatrièmement : chaque nombre du manuscrit est rattaché à une exécution d'entraînement journalisée. Le système ne peut pas achever son travail tant qu'il reste au moins une affirmation sans justification.

Cinquièmement : une taxonomie du 3DGS en sept catégories. Les marqueurs EVOLVE-BLOCK sont enveloppés dans des squelettes de domaine, qui se transposent d'un dépôt 3DGS à l'autre.

Les nébuleuses, un cas révélateur

Le résultat le plus marquant est un gain de +3,78 dB sur le rendu de nébuleuses astrophotographiques. Selon les auteurs, il n'existait pas de méthode 3DGS toute prête pour cette tâche : le système n'a donc pas amélioré une recette connue, il en a construit une pour un domaine peu étudié. La borne basse du gain, +0,18 dB, paraît plus modeste, mais dans une communauté où l'on se bat pour des dixièmes, une telle progression compte aussi.

Paramètres clés du système :

• Entrée : un sujet, l'URL d'un article cible ou une requête vide
• Benchmarks : Mip-NeRF 360 et LLFF
• Sélection : tournoi Elo sur 8 îles, selon le PSNR mesuré sur GPU
• Protection : un falsificateur qui retire des points Elo en cas d'échec
• Traçabilité : chaque nombre est rattaché au journal d'une exécution
• Gain de PSNR : de +0,18 à +3,78 dB
• Durée du cycle : quelques jours au lieu de plusieurs mois de travail doctoral

Ce qu'on peut exploiter dès maintenant

Les auteurs ont publié sur la page du projet le code, tous les manuscrits, les journaux d'expériences et la base d'articles conservée d'une exécution à l'autre. Pour les laboratoires, c'est un matériau prêt à être vérifié : on peut prendre un manuscrit précis et remonter de chaque nombre d'un tableau jusqu'au journal d'entraînement correspondant. C'est précisément ce type d'audit qui manque le plus souvent dans les articles rédigés par des humains.

Pour les équipes qui utilisent le 3DGS dans un produit, la conclusion pratique est différente. La réplique vérifiée de la baseline et la recherche par tournoi sur des plugins peuvent servir de banc d'essai automatique pour trouver des améliorations adaptées à leurs propres données, qu'il s'agisse de captations d'intérieurs, de drones ou d'images scientifiques. La règle « pas de journal, pas d'affirmation » mérite d'être reprise au-delà du 3DGS : elle neutralise le principal risque des recherches rédigées automatiquement, celui d'un beau texte qui diverge des exécutions réelles.

La question des limites reste ouverte : le PSNR est mesurable et peu coûteux, alors que de nombreux domaines de la vision par ordinateur ne disposent pas d'une évaluation aussi claire. Mais SplatLab montre que, dans un sous-domaine doté d'une mesure nette et d'expériences rapides, un cycle autonome allant de la lecture d'un article au manuscrit fonctionne déjà.