Cosmos gerou vídeo de treinamento para drones: o mAP@50–95 do detector subiu 10,3%

Uma equipe da Universidade Estadual de Ohio testou se é possível substituir parte dos voos de drones por vídeo gerado. Os pesquisadores pegaram o modelo de mundo aberto NVIDIA Cosmos-Predict1-7B Video2World, forneceram a ele nove quadros de filmagens reais de animais selvagens e obtiveram continuações das cenas com cerca de 120 quadros cada. Um detector treinado apenas com quadros sintéticos selecionados teve, em vídeos de campo reais, precisão maior que a de um detector treinado com dados reais: o mAP@50–95 (precisão média sob limiares rigorosos de sobreposição das caixas) subiu de 0,845 para 0,932, ou seja, 10,3%.

Como nove quadros viram uma amostra de treinamento

O conjunto de origem é o MMLA: 37 vídeos de drones em baixa altitude, gravados no Quênia e no estado de Ohio, com 155 074 quadros anotados. Para o treinamento, os autores usaram 20 618 quadros, com 85 967 caixas delimitadoras de zebras, girafas e onagros. Cada execução do Cosmos recebia nove quadros consecutivos da parte de treinamento e uma breve descrição textual da cena. Câmera, altura, paisagem e iluminação são definidas por esses quadros iniciais, então o modelo inventa apenas o desenvolvimento da cena, não a aparência. Isso elimina boa parte da distância entre simulação e realidade, que nos simuladores clássicos é reduzida com a randomização de texturas.

Os vídeos de teste nunca foram usados, nem como quadros iniciais, nem nos prompts, nem na seleção. A única variável é o dado de treinamento: o detector (YOLO11m no MMLA, YOLOv8m no VisDrone), os hiperparâmetros e a amostra de teste são fixos.

O modelo erra com frequência: os animais ganham cabeças extras, os corpos se fundem ou desaparecem, e o movimento viola a física. Por isso, um especialista assistia a cada clipe, descartava qualquer um com defeito e anotava os quadros dos aprovados. No piloto de 40 clipes, cinco passaram, o que dá a estimativa de 87,5% de descarte. No fim, foram reunidos 26 702 quadros sintéticos com 93 004 caixas, e a amostra cresceu 2,3 vezes em número de quadros.

O que as medições mostraram

No MMLA, adicionar dados sintéticos aos reais elevou o mAP@50–95 de 0,845 para 0,881 (+4,3%), e o ganho cresceu de forma monotônica com o volume. Já o mAP@50 ficou em torno de 0,98: os dados sintéticos não ajudam a encontrar mais animais, apenas refinam os limites das caixas. O treinamento só com dados sintéticos rendeu 0,932 e superou a base real em todas as classes: zebra de 0,787 para 0,939, onagro de 0,854 para 0,950, girafa de 0,894 para 0,907. Ao mesmo tempo, o mAP@50, a precisão e o recall desse modelo não são maiores que os do modelo treinado com dados reais.

Os autores ressalvam com franqueza que execuções isoladas não permitem separar as causas. O conjunto sintético tem 29,5% mais quadros que o real. Os quadros gerados provavelmente contêm menos desfoque de movimento e ruído de sensor. Além disso, eles foram anotados por um único especialista, em uma só passada, enquanto os rótulos reais foram feitos por uma equipe grande. Os três fatores ajudam justamente na localização rigorosa.

No benchmark urbano VisDrone (24 201 quadros de treinamento, dez classes), o mAP@50–95 subiu de 0,138 para 0,184 (+33,5%) com a adição de 75% do conjunto selecionado. As classes raras foram as que mais cresceram: caminhão de 0,050 para 0,277, van de 0,086 para 0,195. Dos 300 clipes, o especialista aceitou 76, e os 224 clipes descartados (27 896 quadros) formaram o grupo de controle. Eles também ajudaram, mas o ônibus, a classe mais rara, caiu nesse modelo de 0,211 para 0,010. A seleção alcança o mesmo resultado médio com um quarto dos quadros sintéticos e protege as classes raras.

Quanto isso custou

A geração rodou em uma única H100, com 330 segundos por clipe, ao preço de $6,93 por hora de GPU. Todo o conjunto do MMLA exigiu cerca de 163 horas e $1 131. Dessas, 143 horas ($989) foram para clipes que ninguém usou, por isso um clipe aceito custa $5,08, e não $0,64. No VisDrone, o número de clipes aceitos é o dobro, mas três quartos dos $191 também pagaram pelos descartes.

A amostra real sai mais cara. A campanha do MMLA levou mais de 150 horas-pessoa em dois continentes. A parcela da parte de treinamento (58%) equivale a cerca de 87 horas-pessoa, ou $3 210 apenas pela remuneração mediana de um biólogo nos EUA, sem passagens aéreas, hospedagem e autorizações de voo. Os dados sintéticos custam $1 131, mais cerca de $164 pela revisão do especialista em aproximadamente 1 780 clipes, ou seja, ficam 2,5 vezes mais baratos. Sem as gerações fracassadas, a diferença chegaria a cerca de 20 vezes: os clipes aceitos consumiram apenas $141 em tempo de GPU. Os autores excluíram a anotação do cálculo, já que ela é necessária nos dois cenários.

As conclusões têm limites. A taxa de descarte foi estimada a partir de um piloto pequeno, é preciso um especialista em cada clipe, e classes individuais podem se degradar sem que isso apareça na métrica média. A principal direção de trabalho futuro é interromper cedo as gerações claramente ruins e usar verificações automáticas no lugar da revisão manual. Se isso funcionar, o descarte deixará de ser o item mais caro.