Meta apresenta o Autodata, sistema agêntico para criar dados de treinamento de qualidade

Em 1º de maio, a Meta apresentou o Autodata, um framework em que agentes de LLM coletam, verificam e aprimoram sozinhos datasets de treinamento. A ideia é transformar o modelo, de simples gerador de dados sintéticos, em um cientista de dados autônomo que melhora a qualidade dos exemplos de forma iterativa.

Para que serve o Autodata

Dados sintéticos já são há tempos uma das principais formas de acelerar o treinamento de modelos: custam menos que a rotulagem manual, ajudam a cobrir cenários raros e permitem gerar tarefas mais complexas do que as que se encontram com facilidade em corpora abertos. Mas a maioria das abordagens populares, do Self-Instruct às variantes grounded e CoT, tem um limite em comum: elas criam os dados em uma única passada, e a qualidade só é controlada depois da geração, por filtragem ou ajuste manual.

O Autodata muda a lógica do processo. Em vez de gerar exemplos uma vez e torcer para que alguns sejam bons, a Meta propõe um ciclo fechado, parecido com o trabalho de um pesquisador de dados humano. O agente parte de documentos-fonte, cria tarefas, analisa onde elas são fáceis demais, ruidosas demais ou pouco úteis, e então reescreve a própria receita de geração e tenta de novo. Na prática, o poder computacional extra de inferência vai não só para as respostas do modelo, mas também para melhorar os dados com que ele aprenderá depois.

Como funciona o ciclo

A primeira implementação prática do framework se chama Agentic Self-Instruct. Nela, um LLM central age como orquestrador e comanda vários agentes especializados, cada um responsável por uma etapa de verificação de qualidade. O pipeline existe para que o dataset receba não apenas exemplos corretos, mas aqueles em que o modelo forte tem desempenho consistentemente melhor que o fraco. Como base, o agente usa materiais-fonte como artigos científicos, código ou outros documentos temáticos.

• Challenger cria uma nova pergunta, contexto, resposta de referência e rubrica de avaliação a partir do documento-fonte.
• Weak solver tenta resolver a tarefa em modo restrito e deve falhar com notável frequência.
• Strong solver resolve a mesma tarefa com uma configuração mais forte e deve passar o limiar de qualidade.
• Verifier/Judge verifica o próprio exemplo e depois avalia as respostas dos dois modelos segundo critérios predefinidos.

Se a pergunta é simples demais, o modelo fraco marca pontos demais e o exemplo é descartado. Se é difícil demais, o modelo forte também não passa e o agente precisa buscar outra abordagem. Para aceitar um exemplo, a Meta usa limiares específicos: o resultado médio do weak solver não pode passar de 65%, o do strong solver não pode ser inferior a 60% nem superior a 95%, e a diferença entre eles deve ser de pelo menos 20 pontos percentuais. Cada documento costuma passar por várias rodadas desse retrabalho.

"A criação agêntica de dados permite transformar poder computacional

extra de inferência em treinamento de modelos de melhor qualidade."

O que os testes mostraram

A Meta testou o Agentic Self-Instruct em tarefas científicas de ciência da computação. O sistema processou mais de 10 mil artigos do corpus S2ORC de 2022 em diante e, ao final, reuniu 2117 pares de pergunta e resposta que passaram por todos os filtros de qualidade.

O resultado central não é apenas mais dados, mas maior poder de discriminação. No CoT Self-Instruct comum, os modelos fraco e forte tinham desempenho quase igual: 71,4% contra 73,3%, diferença de apenas 1,9 ponto. No modo agêntico, o weak solver caiu para 43,7% e o strong solver subiu para 77,8%, e a diferença chegou a 34 pontos.

Depois, a Meta otimizou não as perguntas em si, mas o comportamento do agente cientista de dados. Em um ciclo externo, um otimizador evolutivo lançava novas versões do repositório de prompts e da lógica de avaliação, mantendo apenas as que melhoravam o resultado de validação. Ao todo foram 233 iterações, 126 delas aceitas, e a taxa de execuções bem-sucedidas subiu de 12,8% para 42,4%.

Entre as melhorias encontradas automaticamente estavam uma checagem mais rígida do vínculo da pergunta com o artigo específico, proteção contra vazamento da solução para o contexto, abandono de pesos negativos nas rubricas e conversão dos critérios para um formato JSON estrito. E isso já muda a economia do pós-treinamento.

O que isso significa

O Autodata indica que a próxima camada de competição em IA pode migrar de "quem treinou o maior modelo" para "quem construiu o melhor pipeline de dados". Para equipes de aplicações, isso é especialmente importante: em vez de rotulagem manual sem fim, é possível investir computação em um agente que seleciona por conta própria exemplos difíceis, precisos e realmente úteis para o ajuste fino e a avaliação de modelos.

*A Meta é considerada organização extremista e está proibida na Rússia.