Yandex compara MCP y CLI+Skill para agentes de IA: 400 solicitudes y un fallo inesperado

El equipo de Servicios Urbanos de Yandex realizó un benchmark para comparar dos formas de conectar un agente de IA a las API internas y comprobó que la elección arquitectónica influye directamente en la eficiencia con que se gastan los tokens.

El problema: los tokens no son infinitos

La ventana de contexto es limitada; eso lo sabe todo el mundo. Pero pocos calculan cuántos tokens se gastan no en la tarea en sí, sino en la «parafernalia»: descripciones de herramientas, listas de parámetros, resultados intermedios de las llamadas. En escenarios complejos, esta sobrecarga puede ocupar una parte considerable del contexto disponible. Entonces el agente empieza a equivocarse no porque el modelo sea malo, sino porque ya no queda espacio útil.

Daniil Mikhailov, del equipo de productos para socios de Yandex, planteó la pregunta sin rodeos: ¿cómo hacer más gastando menos tokens al trabajar con API internas reales?

MCP frente a CLI + Skill

El equipo comparó dos formas de integrar un agente con herramientas.

MCP (Model Context Protocol) es un protocolo estructurado: el agente recibe la descripción de cada herramienta en un formato explícito y las llamadas pasan por una capa estandarizada. Lo bueno es su universalidad y un esquema predecible. Lo malo es que cada descripción de herramienta ocupa íntegra su espacio en el contexto.

CLI + Skill es un enfoque alternativo: el agente recurre a la línea de comandos y el conocimiento sobre las herramientas va incluido en un «skill» compacto, un prompt de instrucciones escrito de antemano. La descripción es más compacta, pero hay que mantenerla a mano.

Para comprobar una hipótesis tomada de investigaciones externas, montaron un benchmark:

• 14 escenarios reales de trabajo con herramientas internas de Yandex
• 2 modelos de lenguaje
• Más de 400 solicitudes
• Mediciones de precisión y de gasto de tokens en cada escenario

El momento en que todo se rompió

Lo más valioso ocurrió no al final, sino a mitad del experimento: lo que funcionaba de forma estable dejó de funcionar de repente. Según Mikhailov, ese fallo resultó más interesante que las cifras finales y obligó a investigar las causas.

«En algún momento todo lo que funcionaba se rompió, y eso resultó lo más interesante.

Tuvimos que averiguar por qué».

Estas anomalías en los benchmarks suelen dejar al descubierto dependencias ocultas: cómo interpreta el modelo el formato del esquema, cómo se comportan las herramientas ante llamadas repetidas, qué tan estable es la salida con distintas formulaciones de la tarea. Sin ese momento de estrés, los resultados podrían haber sido ingenuamente optimistas.

El resultado: un árbol de decisión

Tras la serie de experimentos, el equipo elaboró un árbol de decisión práctico: cuándo compensa MCP y cuándo CLI + Skill. No es una recomendación abstracta, sino una conclusión basada en datos reales: más de 400 solicitudes en infraestructura real.

Qué significa

Elegir cómo conectar un agente a una API no es un capricho técnico. Afecta a cuántos tokens se desperdician, cuánto dura el contexto y qué tan estable es el agente en escenarios no estándar. Para los equipos que construyen agentes de producto sobre sistemas internos, este estudio ofrece una herramienta concreta para elegir arquitectura, basada en mediciones reales y no en razones de marketing.