NVIDIA lidera el primer benchmark industrial para agentes de IA AA-AgentPerf

NVIDIA ha tomado por primera vez la posición de liderazgo en el benchmark AA-AgentPerf — el primer estándar abierto multiproveedor que mide el desempeño de sistemas de inferencia en tareas reales de codificación con agentes. Su aparición cambia la conversación sobre desempeño de inferencia: ahora hay una herramienta objetiva de la industria en lugar de afirmaciones incomparables de proveedores.

Por qué los Benchmarks Antiguos No Funcionan

Los agentes de IA cambian no solo lo que hacen los sistemas, sino cómo cargan la infraestructura. Las pruebas estándar de desempeño miden la velocidad de respuesta a una única consulta — tokens por segundo o tiempo hasta el primer token. Para un chatbot esto es suficiente. Para un agente — fundamentalmente no.

Cuando un agente resuelve una tarea de codificación, pasa por docenas de iteraciones: escribe una función, llama a una herramienta para ejecutar el código, lee la salida de error, la analiza, reescribe — y nuevamente en círculo hasta que se resuelva la tarea. Cada paso crea una solicitud separada al sistema de inferencia. La latencia total de toda la trayectoria afecta críticamente la productividad del agente, y las pruebas sintéticas de consulta única simplemente no pueden medirla.

Antes de que AA-AgentPerf apareciera, las empresas que implementaban sistemas de agentes en producción se veían obligadas a confiar en métricas internas incomparables de los proveedores. Artificial Analysis decidió cerrar esta brecha y lanzó el primer estándar abierto para toda la industria.

Cómo Funciona AA-AgentPerf

AA-AgentPerf (Artificial Analysis AgentPerf) — el primer benchmark abierto multiproveedor de la industria, desarrollado especialmente para cargas de trabajo de agentes. En lugar de solicitudes sintéticas, perfila trayectorias completas de ejecución de tareas, lo más cercano posible a la codificación real con agentes — desde la declaración inicial de tarea hasta el resultado final. El benchmark evalúa un conjunto complejo de parámetros críticos específicamente para escenarios de agentes:

• Latencia del primer token en interacciones multietapa
• Rendimiento durante largas trayectorias de agentes
• Estabilidad del desempeño bajo solicitudes paralelas
• Eficiencia de la interacción con herramientas y ejecución de código
• Tiempo total para resolver tareas de codificación realistas

La apertura del estándar es fundamentalmente importante: cualquier proveedor puede probar su sistema y publicar resultados reproducibles. Esto desplaza la conversación sobre desempeño de inferencia del marketing a la ingeniería.

La Posición de NVIDIA y Qué Hay Detrás

NVIDIA demostró desempeño de liderazgo en las métricas clave del nuevo benchmark. Detrás de este resultado hay años de inversión de la empresa en optimización específicamente para escenarios de agentes. La arquitectura de microservicios NIM y la pila optimizada de TensorRT-LLM fueron diseñadas con la comprensión de que las cargas de trabajo de agentes requieren latencia consistentemente baja para toda la secuencia de interacciones, no solo para una única respuesta.

"Los agentes de IA han cambiado fundamentalmente la complejidad de las cargas de inferencia," — NVIDIA

Developer Blog.

También vale la pena señalar que NVIDIA ha participado en AA-AgentPerf desde el primer lanzamiento del benchmark. Esto envía una señal al mercado: la empresa está confiada en la competitividad de su infraestructura en comparación abierta con otros proveedores.

Qué Significa Esto

El primer benchmark de agentes redefine el concepto de "sistema de inferencia de alto desempeño": ahora lo que importa no es la velocidad de una única respuesta, sino la eficiencia de toda la cadena de agentes de la tarea al resultado. Para los equipos de ingeniería que construyen sistemas de agentes en producción, AA-AgentPerf se convierte en la primera herramienta para la selección justificada de infraestructura. Para los proveedores — un incentivo para optimizar para escenarios reales, no sintéticos.