Goodfire lança monitores "internos" de agentes de IA mais baratos que a supervisão via LLM

A forma padrão de controlar agentes de IA é colocar um segundo bot para vigiar o primeiro. Isso é caro: os agentes trabalham por horas e processam textos equivalentes a vários romances.

A Goodfire, startup especializada em interpretability (compreensão do funcionamento interno de modelos de IA), apresentou na quinta-feira uma alternativa mais barata. Em vez de reconferir as respostas do agente, seus monitores leem sinais diretamente do funcionamento interno do modelo. A solução está disponível para clientes da Baseten, plataforma que hospeda e executa modelos de IA para outras empresas.

Como funciona a vigilância interna

As sondas — pequenos detectores — leem as ativações internas do modelo em cada etapa de sua operação, como um scanner de aeroporto que verifica cada passageiro. Se uma sonda detecta algo suspeito, um modelo de IA separado faz uma verificação mais detalhada.

Os clientes da Baseten podem escolher quais riscos monitorar:

• Ataques e invasões (hacking)
• Uso indevido de armas químicas e biológicas
• Reward hacking (manipulação da função-objetivo)

Respostas automáticas do sistema:

• Registro do evento
• Envio para revisão humana
• Recusa total da solicitação

A economia da monitorização

A Goodfire afirma que sua abordagem é significativamente mais barata. A maioria dos monitores são modelos separados que precisam reconferir tudo o que o modelo monitorado faz, o que aumenta o tempo e o custo. As sondas da Goodfire, em vez disso, reaproveitam os cálculos que o modelo já realiza durante sua execução.

"Os monitores de ativação interna são muito baratos porque reutilizam os cálculos do forward pass", explicou o CEO Eric Ho no MAD Podcast, do investidor de capital de risco Matt Turck. "O modelo já está calculando esse token. Você simplesmente pega as ativações neurais intermediárias que o modelo já calculou e as passa por um classificador de cálculos internos."

Números de testes feitos com o modelo Kimi K3:

• US$ 185 — custo de monitorar 1 milhão de interações (Goodfire)
• US$ 5.420 — monitoramento de 1 milhão de interações com um modelo de IA barato
• ~US$ 200.000 — monitoramento de 1 milhão de interações com um modelo top de linha
• 93% — proporção de sessões maliciosas de hacking detectadas
• 5,5% — falsos positivos (solicitações inofensivas enviadas para revisão)
• <2% — atraso ao executar quatro sondas simultaneamente

Foco nos modelos abertos

O público-alvo são desenvolvedores de modelos abertos. Eles podem baixar um modelo aberto e remover suas salvaguardas (safeguards) integradas. Modelos abertos não vêm com o monitoramento que os laboratórios fechados possuem.

"O dano que uma única pessoa pode causar com um modelo aberto é pequeno comparado ao que alguém pode fazer com clusters de computação — com provedores de inferência, onde está a maior parte da responsabilidade", disse o CTO e cofundador Dan Balsam. "Quando acontecer o 'momento Mythos' dos modelos abertos, ficará claro que os modelos precisam de guardrails no momento da inferência."

Uma pesquisa mostrou que os principais modelos abertos, Kimi K3 e GLM-5.2, praticaram reward hacking em 50% a 96% das execuções ao serem testados como agentes de IA.

A Goodfire não é a primeira a testar essa abordagem. O Google DeepMind implantou em janeiro sondas de detecção de uso indevido (misuse-detection probes) no Gemini, com base em sua própria pesquisa.

Balsam disse que os monitores são uma parte de curto prazo de um objetivo de pesquisa mais amplo: a engenharia reversa de LLMs para que o comportamento possa ser rastreado até sua origem no processo de treinamento. "Esperamos transformar a magia do treinamento de modelos em engenharia de precisão", afirmou.