Odyssey-3: como um modelo de vídeo ensina física a robôs em dezenas de horas

O que é um modelo de mundo

Um modelo de mundo prevê o próximo estado do mundo físico: recebe um quadro de vídeo e uma ação (um comando, um golpe, um empurrão) e gera como fica a cena a seguir. O Odyssey-3 é uma tentativa de tornar esse tipo de modelo genérico e eficiente o suficiente para controlar sistemas reais.

A Odyssey foi fundada em 2023 por Oliver Cameron e Jeff Hawke, que passaram dez anos trabalhando com carros autônomos. O raciocínio deles é direto: um carro precisa prever o que está ao seu redor. Eles perceberam que a robótica avançava por meio de sistemas estreitos, cada um voltado a uma única tarefa e exigindo um volume enorme de dados específicos.

Já um ser humano consegue, aos 18 anos, sentar diante de uma máquina perigosa e aprender a operá-la, porque passou a vida inteira observando como os objetos se movem, como reagem à força e por que colisões são perigosas. A aposta da Odyssey é a mesma: uma base universal construída a partir de observações em vídeo, seguida de algumas dezenas de horas de dados específicos para cada máquina.

Como o modelo funciona

A arquitetura é um transformer de difusão autorregressivo. O treinamento usa três tipos de dados:

• Vídeos da internet com eventos marcados por tempo e verificados por esquema, que oferecem amplitude de compreensão • Gravações de jogos sincronizadas com teclas e movimentos do mouse, que oferecem a ligação entre ação e consequência • Simulações de interação de corpos rígidos com legendas e metadados, que oferecem física precisa com resultado conhecido de antemão

Durante o treinamento, o modelo se torna autorregressivo por meio de teacher forcing: ele recebe quadros anteriores reais e é impedido de espiar o futuro. Em seguida, aplica-se a destilação (distribution-matching e destilação adversarial), que transforma o processo lento de difusão em algo rápido, rodando em poucos passos. Essa versão leve é a que funciona no navegador.

Existem dois modelos: o Odyssey-3, com resolução de 832×480, e o Odyssey-3 Pro, com 1280×720. O usuário caminha pelo mundo gerado em primeira ou terceira pessoa, move a câmera de forma independente e injeta eventos durante a geração para ver como o mundo reage.

Resultados: recordes com ressalvas

No benchmark Physics-IQ Verified (da Anates Labs e da DeepMind), o Odyssey-3 Pro obteve 66.1% no modo vídeo para vídeo, mas esse é o modo best-of-8, em que se escolhe o melhor resultado entre oito tentativas. Os valores normais são mais modestos: 63.4% com prompts aprimorados e entre 52.8% e 54.7% no modo imagem para vídeo.

No WorldMark (que mede fidelidade ao controle, qualidade das cenas e memória do mundo), a Odyssey ficou em primeiro lugar nas categorias de terceira pessoa (79.0% e 76.3%), mas apenas em terceiro nos mundos reais em primeira pessoa (80.6 contra 84.4 da líder Lyra 2.0). A diferença às vezes é de apenas 0.2 ponto. É importante notar que as avaliações do WorldMark foram feitas pela própria empresa, sem verificação independente.

Do vídeo ao hardware

Para aplicar o modelo a um robô específico, a base permanece congelada e um pequeno módulo treinável é adicionado para traduzir as representações em comandos. Eis o que foi demonstrado:

• Braços manipuladores: com dezenas de horas de demonstrações, executam tarefas como "despejar cereal numa tigela" e "fechar uma caixa de parafusos", e mostram recuperação sem treinamento explícito (reorientando a garra depois de errar). Parceria com a Poke & Wiggle • Humanoides (Flexion): as políticas generalizam melhor diante de mudanças de iluminação e ambiente do que os modelos VLA • Carros: após 20 horas de direção simulada, rodam em ruas reais da Índia prevendo pontos de rota. Políticas treinadas em simulação completa cobrem 77% da distância alcançada por políticas treinadas com dados reais • Drones: navegação após dezenas de horas de simulação, com desvio estável de obstáculos (em um ambiente simulado) • Jogos: as políticas jogam GTA V e se transferem para cavalgar em Red Dead Redemption 2 e pilotar motos em Sleeping Dogs sem retreinamento • Dados multicâmera: após 100 passos de treinamento, gera vídeo a partir de três câmeras frontais de um carro

O modelo de mundo também funciona como treinador para outros agentes. O projeto PROWL faz com que agentes busquem pontos fracos do modelo, o que o aprimora, e os mundos mais confiáveis, por sua vez, treinam os agentes. Ao lado dele estão o Agora-2 (vários agentes em um mesmo mundo) e o Starchild-1 (que vai além do aprendizado visual).

O que deve gerar cautela

O número recorde de 66.1 é um resultado best-of-8, e as avaliações do WorldMark foram feitas pela própria empresa. Há um elemento de cherry-picking: aparecem os vídeos que deram certo, não os que falharam. O Physics-IQ avalia a continuidade de um experimento, não a qualidade do controle de um robô. Muitas demonstrações rodam em simulador, e "dezenas de horas de dados" ainda é um volume considerável. Não há preços públicos, licenciamento ou documentação de API divulgados; o acesso para desenvolvedores é apenas mediante solicitação.

Em defesa dos autores, vale dizer que eles reconhecem com honestidade que os modelos de mundo ainda estão cerca de duas ordens de grandeza atrás dos LLMs, e admitem que a robustez em diferentes robôs continua sendo uma questão em aberto.

O Odyssey-3 é uma tentativa de fazer pelo mundo físico o que os LLMs fizeram pelo texto: uma base pré-treinada única, seguida de algumas horas de dados específicos, e a tarefa está pronta. Por enquanto, é uma mistura de conquistas reais com promessas ainda a comprovar. A prévia pode ser testada diretamente no navegador.