Robostral Navigate, da Mistral: robô enxerga por uma única câmera e viaja sozinho

A Mistral AI apresentou o Robostral Navigate, seu primeiro modelo para navegação autônoma de robôs. Ele se orienta no espaço pelo vídeo de uma única câmera RGB comum e alcança 76,6% de tentativas bem-sucedidas no teste R2R-CE, em ambientes que não apareceram no treinamento.

O que o modelo faz

O Robostral Navigate é um modelo de 8 bilhões de parâmetros que, a partir de um quadro da câmera e de uma instrução em texto, conduz o robô por ambientes complexos: um escritório, um prédio residencial ou comercial, um espaço externo. Uma instrução pode ser: "Saia do lobby, siga pelo corredor, entre no depósito e pare diante da segunda prateleira". O modelo leva o robô por todo o trajeto sozinho, sem participação humana.

• Sucesso de 79,4% na validação do R2R-CE em cenas conhecidas e de 76,6% em cenas inéditas
• Supera em 9,7 pontos a melhor abordagem de câmera única e em 4,5 pontos o melhor sistema com lidar ou várias câmeras
• Funciona em robôs com rodas, com pernas e voadores, e é robusto a diferenças nos parâmetros da câmera
• O conjunto de treinamento tem cerca de 400.000 trajetórias coletadas em 6.000 cenas simuladas

Como o modelo encontra o caminho

O Robostral Navigate não prevê um deslocamento métrico, e sim um ponto na imagem: as coordenadas do alvo no quadro atual da câmera e a orientação necessária na chegada. Esse método de navegação "por indicação" se mantém estável diante de mudanças de óptica e de escala da cena, ao contrário de comandos baseados em distâncias métricas. Quando o alvo sai do campo de visão, o modelo passa a usar deslocamentos em coordenadas locais do robô, por exemplo: "Avance 2 metros, 1,5 metro para a esquerda e gire 25 graus para a esquerda".

Como o Robostral Navigate foi treinado

O modelo foi construído inteiramente dentro da Mistral AI e não se apoia em modelos abertos de visão e linguagem: foi inicializado a partir de um modelo próprio da empresa, especializado em apontar, contar e localizar objetos. O elemento central do treinamento é um método baseado em prefix-caching: ele comprime um episódio inteiro em uma única sequência e permite treinar em todos os passos de tempo de uma só vez, reduzindo em 22 vezes o número de tokens de treinamento em comparação com o treinamento em passos isolados. Após a etapa supervisionada, o modelo é aprimorado com aprendizado por reforço online usando o algoritmo CISPO, que permite aprender com os próprios erros e se recuperar de falhas.

"Hoje apresentamos o

Robostral Navigate, nosso primeiro modelo para navegação incorporada", diz o blog oficial da Mistral AI.

O que isso significa

Navegar com uma única câmera, sem lidar nem sensores de profundidade, reduz o custo e a complexidade de robôs para armazéns, entregas, hotéis e fábricas. A Mistral AI cita explicitamente esses setores entre os primeiros beneficiados pela tecnologia.

Perguntas frequentes

Em quais robôs o Robostral Navigate funciona?

O modelo funciona em robôs com rodas, com pernas e voadores, e generaliza para plataformas de tamanhos diferentes, segundo a Mistral AI na descrição do modelo.

Quantos dados foram necessários para o treinamento?

A empresa coletou cerca de 400.000 trajetórias em 6.000 cenas simuladas. Todo o pipeline de geração de dados foi construído inteiramente em simulação, sem robôs reais na etapa de coleta.

Quanto o

Robostral Navigate é mais preciso que os concorrentes?

No teste R2R-CE para ambientes inéditos, o modelo supera em 9,7 pontos a melhor abordagem de câmera única e em 4,5 pontos o melhor sistema com várias câmeras ou sensor de profundidade, chegando a 76,6% de tentativas bem-sucedidas.

Em que a métrica R2R-CE difere dos testes de navegação comuns?

O R2R-CE (Room-to-Room in Continuous Environments) avalia como o modelo segue instruções em texto em ambientes que não faziam parte do conjunto de treinamento. É nesse cenário que o Robostral Navigate marca 76,6%, e não em cenas conhecidas, onde o resultado é ainda maior.