O muro dos LLMs: por que os céticos erraram de porta de novo

A cada seis meses, a indústria de IA entra num período de "grande desânimo". Primeiro disseram que o GPT-3 era o limite e que não havia para onde crescer. Depois garantiram que o próximo passo exigia trilhões de tokens que simplesmente não existem na internet. Agora a nova tendência: os dados acabaram, a arquitetura dos transformers se esgotou, hora de ir para casa. Soa sério e até lógico, se você olha o mundo por um buraco de fechadura. Mas se acompanha o jogo por mais tempo que um ciclo de hype, entende: não batemos em um muro, chegamos ao fim de uma reta e estamos pegando uma rodovia expressa.

O problema dos céticos é que eles pensam em uma dimensão só. Para eles, progresso é jogar mais texto no modelo e obter mais inteligência. É verdade que os dados de texto para o treinamento supervisionado clássico estão acabando. A internet inteira já foi "digerida" pelas redes neurais. Mas treinar com dados é só um dos seis eixos pelos quais o progresso avança. Enquanto alguns choram por bibliotecas vazias, engenheiros da OpenAI, do Google e da Anthropic estão acionando a todo vapor as outras cinco alavancas, que por algum motivo são esquecidas nos debates públicos.

A primeira alavanca, e talvez a mais importante hoje, é a computação durante a inferência, ou inference-time compute. Olhe para os modelos da família o1. Eles não apenas despejam uma resposta: "pensam" antes de escrever a primeira letra. Isso muda o paradigma: não é mais preciso fazer o modelo dez vezes maior para ele ficar mais inteligente. Dá para fazê-lo raciocinar por mais tempo sobre o problema. É como na vida: uma pessoa inteligente não é a que leu mais livros, mas a que sabe analisar informação a fundo. Estamos passando da quantidade lida para a qualidade da compreensão.

O segundo eixo é a eficiência algorítmica. Lembra como todo mundo reclamava da voracidade dos transformers? Agora entram em cena arquiteturas como Mamba e Mixture of Experts (MoE). Elas entregam a mesma potência com um gasto de recursos muito menor. Estamos aprendendo a construir motores melhores, e não apenas a aumentar o tanque de combustível. Soma-se a isso o terceiro eixo: a multimodalidade. Os modelos deixam de ser meros "leitores de texto". Começam a ver, ouvir e entender o mundo físico. Quando a IA aprende com vídeo e áudio, a ideia de que "o texto acabou" perde todo o sentido. O mundo é um fluxo infinito de dados que apenas começamos a explorar.

O quarto e o quinto fatores são o uso de ferramentas e o autoaprendizado por self-play. Lembre como o AlphaGo venceu o campeão mundial de go. Ele não aprendeu apenas com partidas de humanos: jogou contra si mesmo milhões de vezes. Agora essa abordagem chega aos LLMs. Os modelos começam a gerar dados sintéticos, verificar sua lógica e aprender com os próprios erros. Se uma IA consegue criar tarefas e resolvê-las sozinha, ela não precisa mais do ser humano como única fonte de conhecimento. Isso fecha o ciclo de aprendizado e o torna praticamente infinito.

Estamos num ponto em que as velhas métricas de progresso, o número de parâmetros e o tamanho do dataset, deixam de ser as principais. Começa a era da flexibilidade arquitetônica e da profundidade intelectual. Quem hoje grita sobre o "esgotamento da tecnologia" simplesmente não percebeu que as regras do jogo mudaram. Não chegamos ao teto: acabamos de terminar a fundação e começamos a construir os andares. E, a julgar pelo ritmo de adoção de agentes e ferramentas, esses andares vão subir muito mais rápido do que qualquer um esperava.

O principal: esqueça a "falta de dados". A verdadeira batalha agora é quem ensina o modelo a pensar por mais tempo e com mais eficiência, e não quem alimenta o modelo com mais terabytes do Reddit.