LangChain pierde el reasoning content de los modelos CoT: cómo corregir el fallo con los proveedores de LLM

Los desarrolladores que trabajan con modelos CoT a través de LangChain se han llevado una sorpresa desagradable: las clases de chat del framework —ChatOpenAI, ChatDeepSeek y similares— no conservan el bloque reasoning content en la respuesta final. En la práctica, los usuarios esperan sin recibir ningún feedback mientras el modelo «piensa», y el razonamiento desaparece sin dejar rastro. El problema afecta a la integración con la mayoría de los proveedores y agregadores de LLM populares.

Cuando un modelo con capacidad de razonamiento —por ejemplo, de la familia DeepSeek-R1 o step-3.5-flash de Stepfun— genera una respuesta, el proceso interno de razonamiento se registra en un bloque aparte, reasoning_content. Es justo ese bloque el que se pierde: ni ChatOpenAI ni las demás clases de chat de LangChain lo pasan al siguiente eslabón de la cadena de procesamiento.

¿Por qué importa? Los modelos CoT (Chain of Thought, cadena de razonamiento) están entrenados específicamente para generar pasos de razonamiento explícitos antes de la respuesta final. Los desarrolladores los eligen precisamente por esa transparencia: permiten mostrar al usuario cómo llegó el modelo a la solución o aprovechar los pasos intermedios para procesarlos después en el pipeline.

Si el bloque de razonamiento se pierde, el valor del enfoque CoT se diluye. La falta de streaming del reasoning content golpea directamente la UX. El usuario ve una pantalla vacía mientras el modelo recorre una cadena de razonamiento de varios cientos de tokens.

El tiempo de respuesta percibido se dispara, aunque el modelo ya esté trabajando. En productos donde la velocidad percibida es crítica, se trata de una desventaja notable. El autor se topó con el problema en la práctica al trabajar con el modelo stepfun/step-3.

5-flash a través del proveedor ruso polza.ai. El proveedor envía el reasoning content en el stream, pero LangChain no lo recoge ni lo propaga.

Ninguno de los agregadores probados resolvía el problema por su parte. La solución pasó por extender las clases de chat estándar de LangChain. La idea es sobrescribir el método que procesa los chunks del stream para que extraiga explícitamente el campo reasoning_content de la respuesta del proveedor y lo añada a la estructura de salida AIMessage.

Así, el bloque de razonamiento queda disponible tanto en modo streaming como en una llamada normal al modelo. En la práctica, esto supone crear una clase de chat personalizada que hereda de ChatOpenAI y sobrescribe el método _stream y la lógica de ensamblado del mensaje final. Con streaming, el reasoning_content empieza a mostrarse de inmediato, en paralelo a la generación del razonamiento, lo que mejora de forma fundamental la capacidad de respuesta de la interfaz.

El caso importa como solución técnica, pero también como síntoma de un problema más amplio: los frameworks de propósito general como LangChain tardan en adaptarse a las particularidades de las nuevas clases de modelos. Los estándares de API para transmitir el reasoning content varían entre proveedores y no existe un enfoque común; hasta que aparezca, los desarrolladores tendrán que cubrir las carencias por su cuenta mediante personalización. Para los equipos que construyen productos sobre modelos CoT y LangChain, este enfoque ofrece una plantilla de extensión lista para usar.

Es reproducible con cualquier proveedor que devuelva reasoning_content en un formato compatible con la API de OpenAI.