Adoção de IA: modelos de linguagem pequenos em agentes (5 usos)

Os modelos de linguagem pequenos (SLMs), com 1 a 7 bilhões de parâmetros, assumem com segurança funções especializadas em sistemas agênticos que antes pertenciam aos modelos de fronteira.

Por que os SLMs se tornaram competitivos?

Há apenas três anos, os modelos pequenos ficavam claramente atrás do GPT-4 em tarefas complexas. Hoje o quadro é outro: SLMs especializados costumam superar modelos de fronteira generalistas em tarefas restritas. Não se trata só de avanços no treinamento: a maioria dos passos nas cadeias de agentes são operações estreitas e bem formalizáveis, como classificação, roteamento, formatação e validação. Nessas tarefas, os SLMs oferecem a melhor relação entre precisão e custo.

Principais referências de custo:

• GPT-4o: ~US$ 5 por milhão de tokens de entrada
• Microsoft Phi-3-mini (3,8B parâmetros): ~US$ 0,1 por milhão de tokens, uma diferença de 50 vezes
• Mistral 7B Instruct: escolha popular para agentes específicos de tarefa em produção
• Meta Llama 3.2 1B e 3B: otimizados para execução local em dispositivos edge*
• SmolLM2 1.7B (HuggingFace): roda em smartphones, Raspberry Pi e notebooks sem GPU

Em agentes de vários passos, em que cada passo é uma chamada separada ao modelo, a diferença de custo se multiplica.

Cinco funções concretas em agentes

Roteamento de tarefas. Uma requisição recebida precisa ser direcionada à ferramenta ou ao subagente certo. É uma tarefa de classificação com pouco contexto: um modelo de 1–3B resolve quase com a mesma precisão do GPT-4, mas de 10 a 100 vezes mais rápido e barato. Os orquestradores LangGraph e CrewAI permitem trocar o roteador por um SLM sem mexer no restante do sistema.

Subagentes especializados. Em cadeias multiagente, um modelo distinto cuida de cada passo: extração de dados, formatação, validação de JSON, tradução. Um SLM ajustado a um domínio específico supera o GPT-4 generalista em precisão e velocidade. Segundo pesquisas do Berkeley SkyLab (2024), um Llama-3.2-3B com fine-tuning supera o GPT-3.5-turbo em tarefas de extração de dados estruturados.

Inferência local sem nuvem. O SLM roda diretamente no dispositivo: notebook, smartphone ou controlador industrial. A latência cai para menos de 100 ms (contra 500–2000 ms de uma API na nuvem), some a dependência da internet e os dados não saem do dispositivo. O Gemma 2B, do Google, e o Llama 3.2 1B funcionam de forma estável em smartphones atuais de faixa intermediária.

Rascunho antes da chamada cara. O SLM gera uma resposta ou estrutura inicial que o modelo de fronteira depois refina, uma espécie de speculative decoding no nível da arquitetura. O agente só recorre ao GPT-4 quando a confiança do SLM cai abaixo de um limiar definido. Equipes que adotam esse padrão relatam redução de 60–80% nas chamadas a modelos caros.

Monitoramento contínuo e gatilhos reativos. Agentes de IoT e de produção precisam de um modelo que processe um fluxo de eventos sem parar. Manter o GPT-4 ativo 24/7 é inviável economicamente: um SLM de 1–3B parâmetros faz classificação e detecção de anomalias em tempo real pelo custo de um microsserviço comum, sem limites de cota nem latência de API.

O que isso significa

Escolher entre um SLM e um modelo de fronteira deixou de ser um meio-termo entre potência e economia: é uma questão de design de arquitetura. As tarefas de agentes costumam se dividir em passos estreitos, e um SLM especializado dá conta de cada um. O modelo de fronteira é necessário onde há raciocínio profundo, contexto amplo ou multimodalidade, e são esses os passos pelos quais vale a pena pagar.

Perguntas frequentes

Quanto os SLMs são mais baratos que o GPT-4o?

O Microsoft Phi-3-mini, com 3,8 bilhões de parâmetros, custa cerca de US$ 0,1 por milhão de tokens de entrada, contra ~US$ 5 do GPT-4o, uma diferença de aproximadamente 50 vezes. Em cadeias agênticas de vários passos, em que cada passo é uma chamada separada ao modelo, a economia se multiplica.

Quais SLMs são mais usados em agentes em produção?

Para tarefas em produção, são populares o Mistral 7B Instruct, o Microsoft Phi-3-mini e o Llama 3.2 da Meta (1B e 3B). Para dispositivos edge e smartphones, o Gemma 2B do Google e o SmolLM2 1.7B da HuggingFace. A escolha depende dos requisitos de latência, de confidencialidade e dos recursos computacionais disponíveis.

*A Meta foi classificada como organização extremista e é proibida na Rússia.

Em quais tarefas os modelos de linguagem pequenos superam o GPT-4?

Em tarefas especializadas e restritas em sistemas agênticos, os SLMs costumam apresentar resultados melhores que os modelos de fronteira.