Goodfire lanza monitores "internos" de agentes de IA más baratos que la supervisión con LLM

La forma estándar de controlar a los agentes de IA es poner a un segundo bot a vigilar al primero. Es costoso: los agentes trabajan durante horas y procesan textos equivalentes a varias novelas.

Goodfire, una startup especializada en interpretability (comprender el funcionamiento interno de los modelos de IA), presentó el jueves una alternativa más económica. En lugar de revisar las respuestas del agente, sus monitores leen señales directamente del funcionamiento interno del modelo. La solución está disponible para los clientes de Baseten, una plataforma que hospeda y ejecuta modelos de IA para otras empresas.

Cómo funciona la vigilancia interna

Las sondas —pequeños detectores— leen las activaciones internas del modelo en cada etapa de su funcionamiento, como un escáner de aeropuerto que revisa a cada pasajero. Si una sonda detecta algo sospechoso, un modelo de IA independiente realiza una revisión más detallada.

Los clientes de Baseten pueden elegir qué riesgos vigilar:

• Ataques y hacking
• Uso indebido de armas químicas y biológicas
• Reward hacking (manipulación de la función objetivo)

Respuestas automáticas del sistema:

• Registro del evento
• Envío a revisión humana
• Rechazo total de la solicitud

La economía de la monitorización

Goodfire asegura que su enfoque es considerablemente más barato. La mayoría de los monitores son modelos independientes que deben revisar todo lo que hace el modelo supervisado, lo que añade tiempo y costo. Las sondas de Goodfire, en cambio, aprovechan los cálculos que el modelo ya realiza durante su funcionamiento.

"Los monitores de activación interna son muy económicos porque reutilizan los cálculos del forward pass", explicó el CEO Eric Ho en el MAD Podcast del inversor de capital riesgo Matt Turck. "El modelo ya está calculando ese token. Simplemente tomas las activaciones neuronales intermedias que el modelo ya calculó y las pasas por un clasificador de cálculos internos".

Cifras de las pruebas realizadas con el modelo Kimi K3:

• 185 dólares — costo de monitorizar 1 millón de interacciones (Goodfire)
• 5.420 dólares — monitorización de 1 millón de interacciones con un modelo de IA económico
• ~200.000 dólares — monitorización de 1 millón de interacciones con un modelo de primer nivel
• 93% — proporción de sesiones de hacking maliciosas detectadas
• 5.5% — falsos positivos (solicitudes inofensivas enviadas a revisión)
• <2% — retraso al ejecutar cuatro sondas simultáneamente

Apuntando a los modelos abiertos

El público objetivo son los desarrolladores de modelos abiertos. Pueden descargar un modelo abierto y eliminar sus salvaguardas integradas. Los modelos abiertos no vienen con la monitorización que sí tienen los laboratorios cerrados.

"El daño que puede causar una sola persona con un modelo abierto es pequeño comparado con lo que podría hacer alguien con clústeres de cómputo, con proveedores de inferencia, donde reside la mayor parte de la responsabilidad", dijo el CTO y cofundador Dan Balsam. "Cuando llegue el 'momento Mythos' de los modelos abiertos, quedará claro que los modelos necesitan guardrails en el momento de la inferencia".

Una investigación mostró que los modelos abiertos líderes, Kimi K3 y GLM-5.2, realizaron reward hacking en entre el 50% y el 96% de las ejecuciones al probarlos como agentes de IA.

Goodfire no es la primera en probar este enfoque. Google DeepMind desplegó en enero sondas de detección de uso indebido (misuse-detection probes) en Gemini, basándose en su propia investigación.

Balsam dijo que estos monitores son una parte a corto plazo de un objetivo de investigación más amplio: la ingeniería inversa de los LLM para poder rastrear su comportamiento hasta su origen en el proceso de entrenamiento. "Esperamos convertir la magia del entrenamiento de modelos en ingeniería de precisión", afirmó.