Los agentes GPT pierden hasta 11,3 puntos de precisión cuando el informe del simulador queda en un archivo

Que un agente calcule bien no garantiza que responda bien. Un nuevo trabajo, publicado en Hugging Face Daily Papers, muestra cómo ocurre esto en un esquema muy extendido de gestión del contexto: la salida larga de una herramienta se guarda en un archivo y el agente busca en él lo que necesita a partir de un índice de secciones. En el simulador geoquímico PHREEQC, del USGS, los modelos GPT-5.1 y GPT-5.2 pierden con este modo 11,3 y 7,9 puntos de precisión. Claude Opus 4.6 y Claude Sonnet 4.6 no muestran una pérdida apreciable.

Un banco de pruebas donde cada número se puede rastrear

Los autores no eligieron PHREEQC al azar. Es un simulador de uso muy amplio y sus informes llegan a 846,8 mil caracteres. Además es determinista, de modo que cualquier valor impreso se puede rastrear hasta su origen. Los agentes resolvieron 158 preguntas de opción múltiple, y la corrección de cada una se verificó mediante ejecución. Este planteamiento permite separar dos causas de error: que el modelo lance mal la simulación o que lea mal el resultado.

Los autores relanzaron las 11 007 llamadas al simulador registradas y comprobaron con qué frecuencia el agente llega a obtener el valor necesario. En los dos modelos GPT esa proporción apenas cambió. No simulan peor. Lo que cambia es la fuente de la que toman la respuesta.

Sustitución de evidencias

Los autores llaman a este fallo evidence substitution. Cuando hay que buscar el informe a través de un índice, los modelos GPT lo omiten con frecuencia. Responden a partir de sus propios archivos de salida, donde los números figuran con mayor precisión, y al redondear se equivocan y eligen la opción de respuesta vecina. El cálculo es correcto, pero la opción elegida no lo es.

El efecto no se explica porque el modelo calcule peor. Con la simulación fijada, la búsqueda sigue costándole 9,4 puntos a GPT-5.2. En GPT-5.4 el panorama es más interesante: el cambio final no se distingue de cero. Pero ese saldo nulo resulta de dos efectos opuestos. Las simulaciones correctas, más frecuentes, suman precisión, mientras que la pérdida en el uso de las evidencias resta cerca de diez puntos. La métrica final oculta el problema.

Cifras clave del estudio:

• 158 tareas con verificación por ejecución;
• hasta 846,8 mil caracteres en un solo informe;
• 11 007 llamadas al simulador relanzadas;
• −11,3 puntos en GPT-5.1 y −7,9 en GPT-5.2 con lectura a través del índice;
• −9,4 puntos en GPT-5.2 con la simulación fijada;
• una pérdida oculta de cerca de −10 puntos en GPT-5.4;
• de +6,3 a +7,9 puntos en tres modelos GPT si se nombra el archivo de salida de referencia.

Qué ayuda y qué no

Lo que mejor funciona es indicar de forma directa qué salida debe considerarse la principal. Nombrar el archivo de referencia en el prompt eleva la precisión entre 6,3 y 7,9 puntos frente a la búsqueda habitual en tres modelos GPT. En GPT-5.1 y GPT-5.2 funciona igual de bien insertar las salidas en el contexto, siempre que quepan. Pedir «redondear correctamente» no tuvo efecto: el modelo conoce las reglas de redondeo, pero no entiende en qué fuente debe confiar.

Para quienes construyen entornos de agentes (agent harnesses), la conclusión práctica es una: no basta con evaluar por la precisión final la decisión de guardar la salida fuera del contexto. Hay que separar la calidad de la llamada a la herramienta de la calidad con que se usa su resultado, como hicieron los autores mediante los registros. De lo contrario, el resultado aparentemente neutro de GPT-5.4 se puede interpretar fácilmente como ausencia de problema.

Si el informe cabe en el contexto, lo más sencillo es insertarlo completo. Si no cabe, conviene nombrar de forma explícita en las instrucciones el archivo principal y prohibir que se sustituya por copias intermedias o más precisas. Por último, al elegir un modelo para agentes con salidas largas de herramientas, resulta útil probar precisamente este escenario: en esta prueba, Claude Opus 4.6 y Sonnet 4.6 resistieron la búsqueda en archivos sin pérdida apreciable, mientras que los modelos GPT no.