Black Forest Labs lança FLUX 3 Action, modelo aberto de 7B para robôs

A Black Forest Labs, estúdio conhecido pelo gerador de imagens FLUX, lançou em 22 de setembro o FLUX 3 Action, um modelo aberto de world action. Ele tem 7 bilhões de parâmetros. De acordo com o blog oficial da empresa, no ranking NVIDIA RoboLab-120 o modelo superou o Cosmos 3 Nano, até então o melhor representante dos modelos abertos, mesmo sendo bem mais compacto.

A publicação original do Jiqizhixin saiu com um título sobre a equipe de Fei-Fei Li e um modelo de mundo em que a troca do «底座» (modelo base) elevou de forma drástica a taxa de sucesso dos robôs. O trecho de texto disponível, porém, trata inteiramente do lançamento da Black Forest Labs, e a relação entre as duas histórias não é explicada nele. Abaixo está apenas o que esse trecho confirma.

O que se sabe sobre o modelo

O FLUX 3 Action pertence à classe dos modelos world action. Esses sistemas combinam a previsão de como a cena ao redor vai mudar com a geração de ações do robô. Normalmente, essas tarefas ficam a cargo de componentes distintos; aqui, elas são reunidas em um só modelo.

Para a Black Forest Labs, é um passo além do território habitual. A empresa era conhecida como desenvolvedora de geração de imagens e agora entra no campo da IA física. Ela tem uma base para isso: a experiência em treinar grandes modelos visuais se aplica diretamente à forma como a máquina «enxerga» e prevê uma cena.

Principais parâmetros, segundo os dados disponíveis:

• desenvolvedora: Black Forest Labs;
• nome: FLUX 3 Action;
• tipo: modelo aberto de world action;
• tamanho: 7 bilhões de parâmetros;
• benchmark: NVIDIA RoboLab-120;
• resultado: superior ao do Cosmos 3 Nano, até então líder entre os modelos abertos;
• menos parâmetros que o Cosmos 3 Nano (a proporção exata aparece cortada no trecho disponível).

Por que a comparação com o Cosmos importa

O Cosmos faz parte da linha de modelos de mundo da NVIDIA e se tornou, para a comunidade aberta, o ponto de referência em robótica. Superar esse modelo em um benchmark da própria NVIDIA é um movimento forte: a comparação acontece em uma plataforma definida pela principal fornecedora de hardware para robótica.

O tamanho também conta. Sete bilhões de parâmetros cabem em uma única GPU moderna. Isso facilita o fine-tuning para um robô específico e a execução embarcada, onde memória e consumo de energia são limitados. Se a superioridade for confirmada por testes independentes, ganha força o argumento de que, para manipulação, a qualidade da representação visual e física da cena pesa mais do que o tamanho do modelo.

As ressalvas são evidentes. O resultado vem do blog da própria empresa, e o RoboLab-120 mede o sucesso em simulação ou em um conjunto limitado de tarefas. Ainda não está claro como o modelo se comportará em hardware real, com ruído de sensores, desgaste e objetos imprevisíveis.

O que verificar antes de usar

Para a equipe que pensa em adotar o FLUX 3 Action, vale seguir alguns passos:

• ler o blog original e o model card: licença, pesos, formato dos dados de entrada e das ações;
• reproduzir o resultado no RoboLab-120 em hardware próprio, em vez de confiar nos números divulgados;
• verificar a compatibilidade com o seu manipulador e com a frequência de controle: modelos world action são sensíveis à latência;
• testar tarefas fora do benchmark, sobretudo com objetos raros e iluminação ruim;
• comparar o custo de fine-tuning de um modelo de 7B com o de alternativas maiores.

Se o seu interesse é justamente o trabalho do grupo de Fei-Fei Li citado no título, consulte a fonte primária: o texto disponível não traz detalhes sobre ele, e inventá-los seria incorreto.