304 LLMs chineses e nenhum rei: por que entre centenas de redes neurais não surgiu um líder

Lembra quando cada novo anúncio vindo da China era acompanhado de gritos sobre a "morte do GPT-4"? Pois bem, a poeira baixou um pouco, e pesquisadores resolveram fazer um inventário em larga escala do que a famosa "batalha dos mil modelos" realmente produziu. Os resultados são um banho de água fria. Depois de testar 304 grandes modelos de linguagem chineses, ficou claro que o mercado não tem um líder universal. Um modelo escreve código muito bem, outro finge ser poeta com maestria, um terceiro se sai bem na lógica, mas ninguém conseguiu até agora reunir tudo isso em um só "frasco". A quantidade virou qualquer coisa, menos qualidade.

O principal problema nem é que os modelos não sejam inteligentes o bastante. O setor esbarrou no chamado "beco sem saída da avaliação". Quando um país tem trezentas redes neurais, verificar a adequação de cada uma vira uma tarefa de proporções épicas. Os benchmarks tradicionais estão comprometidos há tempos: os desenvolvedores simplesmente "espiam" as respostas dos testes e treinam seus modelos com elas. Para ter um resultado honesto, é preciso gente de verdade ou verificações em cascata sofisticadas, e isso custa uma fortuna. Em algum momento, auditar IA passou a custar às empresas quase mais do que alugar as placas de vídeo para o treinamento.

Nesse cenário, a solução da equipe do ReLE parece uma tentativa de salvar o orçamento dos investidores de venture capital. Eles propuseram uma arquitetura chamada Reinforcement Learning from Evaluation. Sem entrar no emaranhado de fórmulas, é uma forma de otimizar o próprio processo de teste. Em vez de submeter o modelo a milhares de perguntas repetitivas, o sistema aprende a escolher apenas as tarefas mais informativas e difíceis. É como se, numa prova, o professor fizesse logo as três perguntas mais capciosas em vez de te atormentar por três horas com todo o conteúdo. O resultado é o mesmo, mas se gasta 70% menos tempo e recursos.

Por que isso importa para nós? O mercado chinês de IA sempre foi um reflexo hipertrofiado das tendências globais. Se lá começaram a reclamar em massa do custo da avaliação, em breve o problema vai atingir também as startups ocidentais. Estamos entrando numa era em que "eficiência" vale mais que "potência". Os investidores não querem mais ouvir quantos trilhões de parâmetros você enfiou num modelo. Querem saber como você pretende provar que ele funciona sem gastar com isso toda a próxima rodada de investimento.

Também é interessante como o panorama do desenvolvimento está mudando. Enquanto gigantes como Baidu e Alibaba tentam construir esses sistemas universais, equipes pequenas encontram sua salvação na especialização. O estudo mostrou que modelos especializados muitas vezes superam os "generalistas" em seus nichos, exigindo dezenas de vezes menos recursos. Isso questiona o próprio conceito de uma única rede neural que cozinhe borscht e lance foguetes ao espaço. Talvez o futuro não seja de um rei, mas de um conselho de ministros bem coordenado.

O essencial: a era do escalonamento sem critério está acabando. Quem vencer não será quem treinar o maior modelo, mas quem aprender a separar o joio do trigo de forma mais rápida e barata. O ReLE pode se tornar o novo padrão do setor, ou é apenas um remendo temporário num mercado inchado?