A estrutura em torno de um LLM gera ganhos multiplicativos: o que mudou após um ano com Claude Code

Após dezoito meses de trabalho intensivo com Claude Code, testes de dezenas de experimentos e observações de equipes de engenharia, um desenvolvedor experiente chegou a uma conclusão inesperada: o principal alavanca para melhorar a qualidade do LLM não é a geração do modelo nem a atualização para uma versão mais recente, mas sim um sistema sofisticado de harness ao seu redor.

O que é harness

Na comunidade de engenharia, esse harness é chamado—um circuito completo no qual o modelo de linguagem opera. Não é simplesmente um prompt passado em um chat, nem é uma única regra de comportamento. É um sistema complexo de interação do modelo com o mundo externo: suas regras, limites, ferramentas disponíveis e o escopo do contexto visível. Sem este circuito, até o modelo mais poderoso funciona de forma ineficiente—como uma escavadeira sem braços que tem um motor mas não tem nada para cavar ou mover terra.

Por que o harness oferece maior melhoria do que novos modelos

Ao longo de um ano de observação, ficou claro que a mudança para uma nova versão do modelo oferece ganhos de qualidade notáveis mas limitados. A transição do Claude 3 para Claude 4 é uma melhoria, mas representa apenas alguns pontos percentuais de ganho de desempenho. Enquanto isso, cada nova camada de harness ao redor do mesmo modelo é um salto exponencial.

Adicione um prompt de sistema que descreve claramente o papel do modelo—a qualidade salta. Conecte ferramentas por meio das quais o modelo pode interagir com a realidade—outro salto. Expanda o contexto, adicione skills, configure permissões—a cada vez a qualidade cresce exponencialmente.

Isso desvia o foco da engenharia da busca por novas versões para a construção do circuito no qual o modelo opera.

Componentes de um harness eficaz

Um harness eficaz consiste de várias camadas-chave, cada uma contribuindo seu próprio valor:

• Prompt de sistema — instruções explícitas que definem comportamento, estilo de comunicação e limites
• Ferramentas — acesso do modelo a APIs externas, bancos de dados, navegadores e recursos computacionais
• Contexto — gerenciamento sofisticado do que o modelo vê, lembra e pode usar como referência
• Skills — padrões pré-treinados e algoritmos para resolver tarefas típicas
• Hooks — eventos e gatilhos que são ativados sob condições específicas
• Permissões — a fronteira entre o que o modelo pode e não pode fazer, quais arquivos pode ler e escrever
• Memória — retenção de longo prazo e curto prazo do contexto do projeto, decisões e percepções

Cada uma dessas camadas pode ser otimizada independentemente, entregando melhorias de desempenho para tipos de tarefas específicas.

"Poder existe, mas não há nada para usá-lo"—é assim que um engenheiro

experiente descreve um modelo sem harness.

O que isto significa

O foco do desenvolvedor muda da corrida por modelos mais novos e poderosos para a construção de um circuito inteligente ao redor dos existentes. Investimentos em engenharia de prompt de sistema, gerenciamento de contexto, desenvolvimento de skills e otimização de permissões se pagam mais rapidamente e entregam resultados maiores do que esperar pela próxima versão do modelo. Isto abre novas possibilidades para customização de tarefas e equipes específicas, sem exigir atualizações caras de hardware ou licenças.