Black Forest Labs publie FLUX 3 Action, un modèle ouvert de 7B pour la robotique

Black Forest Labs, le studio connu pour son générateur d'images FLUX, a publié le 22 septembre FLUX 3 Action, un modèle world action ouvert. Il compte 7 milliards de paramètres. D'après le blog officiel de l'entreprise, il surpasse dans le classement NVIDIA RoboLab-120 Cosmos 3 Nano, jusqu'ici le meilleur modèle ouvert, alors qu'il est nettement plus compact.

L'article original de Jiqizhixin porte un titre consacré à l'équipe de Fei-Fei Li et à un modèle du monde dont le changement de «底座» (modèle de base) a fortement amélioré le taux de réussite des robots. Le fragment de texte disponible, lui, traite entièrement de la sortie de Black Forest Labs et n'explique pas le lien entre les deux sujets. Ce qui suit se limite à ce que ce fragment permet de confirmer.

Ce que l'on sait du modèle

FLUX 3 Action appartient à la classe des modèles world action. Ces systèmes associent la prédiction de l'évolution de la scène environnante à la génération des actions du robot. Ces deux tâches sont généralement confiées à des composants distincts ; ici, un seul modèle les réunit.

Pour Black Forest Labs, c'est un pas hors de son territoire habituel. L'entreprise était connue comme développeur de génération d'images et s'aventure désormais dans l'IA physique. Elle ne part pas de zéro : son expérience de l'entraînement de grands modèles visuels touche directement à la manière dont une machine « voit » une scène et la prédit.

Principaux paramètres d'après les données disponibles :

• développeur : Black Forest Labs ;
• nom : FLUX 3 Action ;
• type : modèle world action ouvert ;
• taille : 7 milliards de paramètres ;
• benchmark : NVIDIA RoboLab-120 ;
• résultat : supérieur à celui de Cosmos 3 Nano, jusqu'ici leader parmi les modèles ouverts ;
• moins de paramètres que Cosmos 3 Nano (la proportion exacte est tronquée dans le fragment disponible).

Pourquoi la comparaison avec Cosmos compte

Cosmos fait partie de la gamme de modèles du monde de NVIDIA, devenue pour la communauté open source un point de référence en robotique. Battre un tel modèle sur un benchmark de NVIDIA elle-même est un coup fort : la comparaison se joue sur un terrain fixé par le principal fournisseur de matériel pour la robotique.

La taille compte aussi. Sept milliards de paramètres tiennent sur un seul GPU moderne. Cela facilite le fine-tuning pour un robot précis et l'exécution embarquée, où la mémoire et la consommation d'énergie sont limitées. Si cette supériorité est confirmée par des tests indépendants, elle plaidera en faveur d'une idée : pour la manipulation, la qualité de la représentation visuelle et physique de la scène pèse plus que la taille du modèle.

Les réserves sont évidentes. Le résultat vient du blog de l'entreprise elle-même, et RoboLab-120 mesure la réussite en simulation ou sur un ensemble limité de tâches. On ignore pour l'instant comment le modèle se comportera sur du matériel réel, avec du bruit de capteurs, de l'usure et des objets imprévisibles.

Que vérifier avant de l'utiliser

Une équipe qui envisage d'utiliser FLUX 3 Action devrait suivre plusieurs étapes :

• lire le blog original et la fiche du modèle : licence, poids, format des données d'entrée et des actions ;
• reproduire le résultat sur RoboLab-120 avec son propre matériel, plutôt que de se fier aux chiffres annoncés ;
• vérifier la compatibilité avec votre manipulateur et sa fréquence de contrôle : les modèles world action sont sensibles à la latence ;
• tester des tâches hors benchmark, en particulier avec des objets rares et un mauvais éclairage ;
• comparer le coût du fine-tuning d'un modèle de 7B à celui d'alternatives plus grandes.

Si c'est précisément le travail du groupe de Fei-Fei Li, annoncé dans le titre, qui vous intéresse, reportez-vous à la source primaire : le texte disponible n'en donne aucun détail, et les inventer serait inapproprié.