Google propone pensar más profundo, no más tiempo, y reduce a la mitad el coste de inferencia

Durante los últimos años, la industria de los grandes modelos de lenguaje ha seguido una regla no escrita: si quieres una respuesta más precisa a una pregunta difícil, haz que el modelo piense más tiempo. La técnica Chain-of-Thought, en la que el modelo construye paso a paso una cadena de razonamiento antes de dar la respuesta final, se convirtió en el estándar de oro. Los desarrolladores alargaron estas cadenas, ampliaron las ventanas de contexto y gastaron cada vez más cómputo en cada consulta. Pero un nuevo estudio de la Universidad de Virginia y Google sostiene que durante todo este tiempo hemos confundido la verbosidad con la inteligencia.

La idea que sustenta el trabajo es engañosamente simple. Los investigadores se preguntaron si cada token adicional de la cadena de razonamiento acerca realmente al modelo a la respuesta correcta. ¿O buena parte de esos tokens es ruido informativo, repeticiones y vueltas en el mismo sitio? Para responder, el equipo introdujo una nueva métrica: Deep-Thinking Ratio, o coeficiente de pensamiento profundo. En lugar de medir la longitud del razonamiento en tokens, la métrica evalúa qué proporción del razonamiento contiene pasos lógicos productivos, es decir, los que conducen a la solución y no se limitan a rellenar espacio.

Los resultados fueron elocuentes. El análisis mostró que, en las cadenas de razonamiento largas típicas de los LLM actuales, una enorme parte de los pasos intermedios no aporta una carga semántica real. El modelo puede reformular decenas de veces la misma idea, volver a etapas ya superadas y generar explicaciones redundantes, y todo eso cuesta dinero real. Cada token superfluo en la fase de inferencia supone tiempo de GPU, electricidad y latencia para el usuario final. En servicios grandes que procesan miles de millones de consultas, las cifras son colosales.

El logro clave del estudio es que, al optimizar el proceso de razonamiento con el Deep-Thinking Ratio en mente, se consiguieron a la vez dos cosas que suelen considerarse excluyentes. La precisión del modelo aumentó, porque eliminar los pasos improductivos reduce de hecho la probabilidad de que el modelo se pierda en su propio razonamiento y llegue a una conclusión errónea. Y los costes totales de inferencia bajaron aproximadamente a la mitad, porque el modelo genera bastantes menos tokens por consulta. No es un compromiso entre calidad y coste, sino un caso raro en el que optimizar un parámetro mejora ambos.

Para entender la magnitud del hallazgo conviene recordar el contexto. El coste de la inferencia es uno de los principales quebraderos de cabeza del sector. OpenAI, Google, Anthropic y otras compañías gastan miles de millones de dólares en infraestructura de cómputo, y buena parte de ese gasto se destina precisamente a generar respuestas para los usuarios. Modelos como o1 y o3 de OpenAI, o Gemini con pensamiento extendido de Google, se diseñaron expresamente para cadenas de razonamiento largas. Si resulta que la mitad de ese razonamiento puede eliminarse sin consecuencias, o más exactamente, que se puede enseñar al modelo a no generarlo desde el principio, el efecto económico se medirá en cientos de millones de dólares al año.

Hay además un aspecto teórico más profundo. El estudio cuestiona de hecho el propio paradigma de escalado de la inferencia que dominó en 2024-2025. Si «pensar más tiempo» no equivale a «pensar mejor», la carrera por ampliar las ventanas de contexto y aumentar el presupuesto de cómputo para razonar es un callejón sin salida. En su lugar, quizá la industria deba centrarse en la calidad de cada paso del razonamiento y no en su cantidad. Esto resuena con el funcionamiento del pensamiento humano: un experto resuelve un problema no porque piense más tiempo que un novato, sino porque cada uno de sus pasos mentales está más enfocado.

Las consecuencias prácticas para desarrolladores y usuarios podrían aparecer con bastante rapidez. Deep-Thinking Ratio es una métrica relativamente fácil de integrar en los pipelines existentes de entrenamiento y evaluación de modelos. Cabe esperar que los grandes laboratorios empiecen a usar enfoques similares en el fine-tuning, y los proveedores de nube, en la optimización del coste de las llamadas a la API. Para los usuarios finales, esto significa respuestas más rápidas y, además, más precisas, al mismo precio o a uno menor.

El estudio de Google y la Universidad de Virginia recuerda al sector una verdad fácil de olvidar en la carrera por la escala: la eficiencia no va de «más», sino de «más preciso». Los modelos del futuro probablemente no serán los que piensen más tiempo, sino los que sepan pensar con criterio.