Equipe de pesquisadores de IA encontra atenção linear que superou o GDN2 em 1.3B

Agentes autônomos já sabem propor ideias, editar código e rodar experimentos. Os autores de um novo trabalho foram além: em vez de um único «cientista de IA», montaram uma equipe de pesquisadores persistentes, cada um apoiado em sua própria disciplina científica. Eles usaram essa equipe para buscar arquiteturas de atenção linear. Na escala de 1.3B de parâmetros, o resultado superou o GDN2 em modelagem de linguagem, em raciocínio de senso comum e em tarefas de retrieval, tanto sintéticas quanto reais.

A atenção linear continua entre os principais candidatos para substituir a atenção quadrática do transformer clássico em contextos longos. O espaço de arquiteturas possíveis é enorme, e cada teste custa horas de GPU. Por isso, a busca facilmente fica presa em mínimos locais: os agentes giram em torno dos mesmos truques e testam pequenas variações de esquemas já conhecidos.

Pesquisadores com formações distintas e memória própria

A ideia central dos autores é que a diversidade precisa ser organizacional. Se todos os agentes pensam do mesmo jeito, vão propor experimentos parecidos. Por isso, cada um recebeu um perfil em uma disciplina específica, e a equipe explora o espaço em várias direções ao mesmo tempo.

Só os perfis disciplinares, porém, não bastam. Os agentes desse sistema são persistentes: mantêm o contexto entre as iterações. Cada um tem um histórico privado de pesquisa, onde ficam suas hipóteses, fracassos e conclusões intermediárias. Já os dados experimentais são compartilhados. Qualquer resultado, positivo ou negativo, fica disponível para toda a equipe e influencia as propostas seguintes.

O resultado é uma divisão de trabalho parecida com a de um laboratório real. As evidências compartilhadas dão um quadro único do que já foi testado. Os históricos pessoais permitem que cada agente desenvolva a própria linha de raciocínio, em vez de repetir a dos outros.

Como dividir um orçamento limitado de experimentos

O segundo problema é prático. Experimentos são caros, então a equipe só consegue testar uma pequena parte das ideias. É preciso decidir qual pesquisador ganha uma vaga de execução. Se sempre for escolhido quem tem os melhores resultados recentes, a busca se estreita. Se todos forem escolhidos em rodízio, os recursos acabam em direções fracas.

Os autores usam uma alocação adaptativa de oportunidades. Ela equilibra a exploração de novas direções e o aprofundamento das que já deram certo, ou seja, o clássico dilema de exploration/exploitation. Cada resultado altera as chances de os pesquisadores conseguirem a próxima execução.

Parâmetros principais do experimento:

• escala de validação: modelos de 1.3B de parâmetros;
• baseline: GDN2;
• tarefas: modelagem de linguagem, common-sense reasoning, retrieval sintético e real;
• composição da equipe: agentes persistentes com diferentes perfis disciplinares;
• memória: históricos privados para cada agente, dados experimentais compartilhados por todos;
• distribuição do orçamento: adaptativa, com limite fixo de execuções.

O que quebra quando se remove qualquer elemento

A parte mais convincente do trabalho são as comparações controladas. Os autores desligaram, um a um, os componentes da organização e, a cada vez, obtiveram achados visivelmente mais fracos.

Sem perfis disciplinares, a busca chega rapidamente a um platô. Agentes sem formações diferentes chegam a ideias parecidas, e a novidade se esgota cedo. Sem históricos privados, os pesquisadores progridem menos, embora vejam os mesmos resultados compartilhados. Isso indica que não se trata só de acesso a dados: a trajetória pessoal de raciocínio acumulada também influencia a qualidade das propostas seguintes. Já a escolha uniforme dos pesquisadores, com o mesmo orçamento, perde para a adaptativa.

A conclusão dos autores vale para a área como um todo. A descoberta autônoma sustentável depende não só da força do modelo-base. Importam quem pesquisa, o que essa pessoa lembra e como a energia de pesquisa é distribuída. Para a indústria, isso desloca o foco: da corrida pelo melhor agente para o projeto de uma estrutura organizacional feita de agentes.

Para times de P&D que já testam agentes na automação de experimentos, daí saem três regras práticas. Dê aos agentes perfis de expertise diferentes, em vez de clonar um único papel. Ofereça a eles memória própria e um registro comum de resultados, incluindo os fracassos. E não divida o orçamento de computação em partes iguais: redistribua-o com base nas execuções já realizadas. Se a avaliação dos autores estiver correta, o ganho vem justamente dessa organização da pesquisa, e não da simples compra de um modelo mais forte.