NVIDIA logra el 100% en ARC-AGI-3: el protagonista no es el modelo, sino el harness

NVIDIA informó de que su arquitectura agéntica AVO alcanzó el 100% en el benchmark ARC-AGI-3 y calificó el resultado como una demostración de «una arquitectura de propósito general de nivel frontera para tareas agénticas largas». Los ingenieros de la compañía explicaron los detalles en el blog NVIDIA Developer.

Qué ha ocurrido

ARC-AGI-3 es la tercera generación del benchmark de razonamiento abstracto de François Chollet y una de las pruebas más difíciles del sector. A diferencia de sus predecesoras, se trata de entornos de juego interactivos en los que el agente debe deducir por sí mismo las reglas del mundo experimentando con él, sin instrucciones ni pistas. Los resultados de los modelos de frontera se mantuvieron durante mucho tiempo en cifras modestas: hasta hace poco, superar el 40% se consideraba un logro notable.

En ese contexto, el 100% de AVO supone un salto enorme. Pero lo más relevante del anuncio no es la cifra, sino la explicación de cómo se ha logrado.

• ARC-AGI-3 es un benchmark interactivo: el agente deduce por sí mismo las reglas del entorno, por ensayo y error
• AVO obtuvo un resultado absoluto: 100%
• Según NVIDIA, la contribución decisiva vino de la arquitectura del agente, no de la potencia «en bruto» del modelo

El harness, nuevo centro de gravedad

La tesis principal de NVIDIA es que un modelo de lenguaje de frontera es solo un componente de un agente de IA. Todo lo demás lo determina el sistema que lo rodea, al que la industria llama harness. Este define cómo recibe el modelo el contexto, cómo invoca herramientas, cómo conserva el estado entre pasos, cómo reacciona a la retroalimentación del entorno, cómo se recupera de los fallos y cómo mantiene el progreso en tareas de decenas y cientos de pasos.

TechCrunch fue aún más tajante: NVIDIA ha demostrado que el verdadero protagonista ahora es el harness, no el modelo. El mismo «cerebro» con distinto harness produce resultados radicalmente diferentes. Eso explica por qué las empresas que construyen productos agénticos compiten cada vez más en la ingeniería del circuito que rodea al modelo y menos en el acceso al último modelo.

Qué significa

El resultado de AVO desplaza el foco de la carrera del entrenamiento de modelos a la ingeniería de sistemas que los rodea. En esa disciplina tienen ventaja los equipos con una sólida cultura de infraestructura, y no solo los laboratorios con los mayores clústeres. Hay también una cara menos favorable: cuando un benchmark se completa al 100%, deja de medir el progreso. A ARC-AGI-3 le espera el destino de sus predecesores: el sector vuelve a necesitar una prueba que nadie haya resuelto todavía.

Preguntas frecuentes

¿Qué es ARC-AGI-3?

Un benchmark interactivo de inteligencia general de la serie ARC de François Chollet: un conjunto de entornos de juego cuyas reglas el agente debe deducir por sí mismo interactuando con el mundo. Se considera una de las pruebas más difíciles de generalización, y no de conocimientos memorizados.

¿Qué es el harness?

La capa de software que envuelve a un agente de IA: los subsistemas de suministro de contexto, invocación de herramientas, memoria, gestión de errores y control de tareas largas. El resultado de NVIDIA muestra que la calidad del harness influye en el desenlace tanto como la calidad del propio modelo.