Modelos anões: como as empresas economizam em IA ajustando LLMs minúsculas

O ajuste fino de LLMs pequenas para uma tarefa específica está substituindo as APIs na nuvem. Em vez de contas mensais de US$ 7.000 a US$ 12.000, a Checkr agora paga cerca de US$ 1.400. A PayPal conseguiu que um modelo de 8 bilhões de parâmetros igualasse a qualidade do GPT-4, mas a US$ 0,013 por chamada, em vez de US$ 0,025–0,055. Com um volume de 100.000 solicitações por mês, essa diferença de preço se transforma em um item de orçamento relevante.

Modelos anões e formas de compressão

Não existe uma fronteira exata, mas a NVIDIA oferece uma referência útil: um modelo de linguagem pequeno é aquele que cabe em um dispositivo de consumo e atende solicitações com latência aceitável. Em 2025, isso significa até 10 bilhões de parâmetros. As opções atuais incluem:

• Gemma 4 (Google) • Phi-4 (Microsoft) • Qwen3 (Alibaba) • SmolLM3 (HuggingFace) • Granite 4.1 (IBM) • Nemotron 3 Nano (NVIDIA)

Duas técnicas permitem comprimir uma LLM para uma tarefa específica. O LoRA congela os pesos base e treina apenas pequenas matrizes adicionais, resultando em 10.000 vezes menos parâmetros treináveis do que um ajuste fino completo. A destilação transfere o comportamento de um modelo professor grande para um modelo pequeno: um estudo do Google (ACL Findings 2023) mostrou que um T5 de 770 milhões de parâmetros superou um PaLM few-shot de 540 bilhões no teste ANLI, quando treinado não apenas com respostas corretas, mas também com o "raciocínio" do modelo grande.

Por que as empresas precisam disso

Custo e latência. Com milhões de solicitações repetidas, a diferença de preço por chamada se torna um item real de orçamento. A Checkr afirma obter uma economia de cinco vezes, enquanto a PayPal reduziu o custo de US$ 0,025–0,055 para US$ 0,013 por avaliação. Em velocidade: a Predibase afirma obter uma aceleração de 30 vezes, e a Computerworld cita 15 segundos para o GPT-4 contra 0,15 segundo para o modelo ajustado.

Privacidade e independência. Um modelo pequeno pode rodar nos próprios servidores da empresa. Os dados não saem para um serviço externo, e o sistema não depende de um único fornecedor. O bloqueio de uma conta não interrompe o processo.

Formato previsível. Um modelo ajustado sempre responde da mesma forma, algo essencial para automação. A PayPal alcançou 100% de JSON válido em todas as verificações de transcrições de conversas.

Um esquema de implementação em cinco etapas

Etapa 1. Prototipo com um modelo de ponta. Defina a tarefa, o formato de resposta e os erros típicos. Descubra se o prompt e o RAG já bastam. Cada resposta corrigida manualmente é um exemplo potencial de treinamento.

Etapa 2. Exemplos rotulados a partir de dados reais. Use solicitações reais e respostas verificadas por um especialista. Reúna separadamente os casos difíceis: a PayPal adicionou apenas 20 exemplos negativos e elevou a precisão de um campo problemático para 100%.

Etapa 3. Ajuste fino com parada baseada em validação. Interrompa o treinamento com base em uma métrica medida em dados reservados, não em um número fixo de épocas. Ao treinar com 188 exemplos, a PayPal registrou overfitting a partir do passo 60.

Etapa 4. Verificações rígidas. Adicione uma camada de regras para formato, valores permitidos e campos obrigatórios. Regras baseadas em expressões regulares são frágeis, mas uma regra inequívoca ainda é melhor do que confiar apenas no modelo.

Etapa 5. Avaliação cega com dados novos. O modelo não deve ter visto esses dados durante o treinamento. O resultado deve ser avaliado por um especialista humano, não por outro modelo. A PayPal usou 53 transcrições de conversas independentes.

O que monitorar após o lançamento

Colocar o modelo em produção não é o fim, mas o início da sua vida real. Um modelo treinado para uma tarefa estreita é frágil fora dos dados de treinamento, por isso exige vigilância constante: a proporção de solicitações que se afastam dos dados de treinamento; a taxa de correções manuais (um sinal de degradação que aparece antes de qualquer métrica); um conjunto de regressão fixo com casos de teste congelados a cada mudança; o estado das regras rígidas e um registro de casos duvidosos para a próxima rodada de treinamento.