Hugging Face y Lambda: cómo analizar y ajustar con reasoning traces de agentes

MarkTechPost publicó un análisis práctico del dataset lambda/hermes-agent-reasoning-traces, que ayuda a estudiar cómo piensan los agentes de IA, cómo llaman a herramientas y cómo responden en diálogos de varios pasos. No es el lanzamiento de un nuevo modelo, sino un pipeline de trabajo listo para usar: desde el parseo de trazas en bruto hasta la analítica, los gráficos y la preparación de datos para el ajuste fino.

Qué contiene el dataset

El eje del artículo es un dataset de Lambda en Hugging Face con dos configuraciones: kimi y glm-5.1. La primera tiene 7646 ejemplos y la segunda, 7055. Cada ejemplo incluye una lista de mensajes, la descripción de las herramientas disponibles, la categoría de la tarea, la subcategoría y la petición original del usuario. El formato es parecido a ShareGPT: el diálogo contiene mensajes de sistema, de usuario, del agente y de herramientas, por lo que con un solo registro se puede reconstruir casi todo el trabajo del agente.

«Cada ejemplo es un diálogo agéntico real con razonamiento paso a paso

y resultados reales de las llamadas a herramientas».

El principal valor del dataset es que no contiene solo la respuesta final, sino también los pasos intermedios. La configuración kimi tiene una media de 24,3 turnos y 13,9 llamadas a herramientas por ejemplo; glm-5.1, 19,1 turnos y 9,7 llamadas. En total hay nueve categorías, entre ellas Terminal & Coding, Agent Tools, Repository Tasks, Browser Automation y File Operations. Es decir, no son prompts de juguete, sino escenarios reales en los que el agente escribe código, navega por la web, trabaja con archivos y invoca funciones externas.

Cómo se estructura el análisis

Los autores empiezan con una inspección básica del split train mediante la biblioteca datasets: revisan los campos, las categorías y un ejemplo concreto. Después construyen parsers con expresiones regulares para extraer por separado los bloques de razonamiento, las llamadas a funciones y las respuestas de las herramientas. Este paso descompone una trayectoria del agente en partes claras y permite analizar por separado el razonamiento interno, las acciones y la respuesta final.

• De los mensajes del agente se extraen los pensamientos, las llamadas a herramientas y el texto final
• Los errores de parseo de JSON se marcan aparte para no romper el pipeline
• Sobre una muestra se calculan la longitud de los diálogos, el número de llamadas y la frecuencia de errores
• Se generan gráficos de las herramientas más usadas, las llamadas paralelas y la distribución de categorías

Sobre una muestra de 3000 trayectorias, la guía calcula los promedios y los visualiza con matplotlib. También muestra cómo imprimir una traza completa en un formato legible: dónde está la petición del usuario, dónde razona el agente, qué herramienta llama y qué devuelve esta. Para los equipos que evalúan agentes, esto resulta especialmente útil: en lugar de una única puntuación final, se pueden ver patrones reales de comportamiento, llamadas superfluas, pensamientos vacíos y errores repetidos en las respuestas de las herramientas.

Preparación para el entrenamiento

En la segunda mitad, el material pasa de la analítica a la práctica de ML. Los diálogos se convierten a un formato de mensajes compatible con modelos de chat y con pipelines de entrenamiento habituales, y las respuestas de las herramientas se reempaquetan como contexto de entrada para el siguiente paso. Después vienen la tokenización y el label masking: a la pérdida solo contribuyen los tokens de los mensajes del asistente y el resto se enmascara. Es una base importante para el supervised fine-tuning cuando el objetivo es enseñar al modelo a responder y actuar a partir de una trayectoria ya recorrida.

Los autores añaden además un pequeño trace replayer que reproduce paso a paso el comportamiento del agente y un ciclo de entrenamiento de demostración con TRL. El ejemplo usa el tokenizer de Qwen2.5 y un subconjunto pequeño de train, así que es más una plantilla que una receta lista para producción. Pero ahí está su ventaja: se puede lanzar rápido, cambiar la configuración, añadir métricas propias y obtener un laboratorio básico para analizar trazas de agentes sin una larga preparación ni infraestructura adicional.

Qué significa

El mercado se desplaza poco a poco de evaluar solo la respuesta final a analizar el comportamiento completo del agente de IA. Datasets y guías como este dan a los equipos una forma práctica de mirar no solo qué respondió el modelo, sino cómo razonó, se equivocó y llamó a las herramientas, y con qué conviene seguir ajustándolo.