Eficiencia en el entrenamiento de IA: por qué la velocidad no lo es todo

Cuando se habla del entrenamiento de grandes modelos de lenguaje, la conversación acaba siempre en dos asuntos: cuántas GPU se usan y a qué velocidad el sistema devora datos. Los tokens por segundo se han convertido en la moneda del sector: cuantos más, mejor. Pero ¿y si esta métrica, con toda su claridad, solo cuenta la mitad de la historia? Esa es la pregunta que plantea el concepto cada vez más popular de goodput, que promete cambiar la forma de evaluar la eficiencia del entrenamiento de IA.

El preentrenamiento de un modelo moderno de cien mil millones de parámetros o más es un maratón de ingeniería que se extiende durante semanas y meses. Miles de aceleradores trabajan en paralelo y procesan volúmenes colosales de texto. Tradicionalmente, el éxito se medía con dos indicadores. El primero es el throughput, o rendimiento: cuántos tokens puede procesar el sistema por unidad de tiempo. El segundo es el progreso del entrenamiento: cuánto mejora realmente el modelo en cada iteración. El problema es que ambos no siempre se correlacionan como querrían los ingenieros.

El throughput es una métrica engañosamente simple. Muestra la rapidez con que los datos recorren el flujo de cómputo, pero nada dice sobre la calidad de ese trabajo. Imagine una cadena de montaje que fabrica piezas a velocidad récord, pero la mitad acaba desechada.

Sobre el papel, la productividad es alta; el rendimiento real es otro muy distinto. En el entrenamiento de IA la analogía funciona con sorprendente precisión. Un sistema puede presumir de cifras de throughput impresionantes mientras una parte considerable del cómputo se desperdicia: en reprocesar datos tras fallos, en esperas por la sincronización entre nodos, en un reparto deficiente de la carga entre aceleradores.

Todo ese tiempo el contador de tokens sigue girando y crea una ilusión de progreso.

Aquí entra en escena el goodput, un indicador que intenta medir no el rendimiento bruto, sino el trabajo útil. El goodput solo contabiliza los cálculos que de verdad acercan al modelo al final del entrenamiento. Si un clúster de cuatro mil GPU procesa un billón de tokens al día, pero el veinte por ciento de ese trabajo se pierde por fallos de hardware, reinicios desde checkpoints y sobrecarga de comunicación entre nodos, el goodput real es de solo ochocientos mil millones de tokens.

La diferencia parece académica hasta que se traduce a dólares: si alquilar un gran clúster de GPU cuesta millones de dólares al día, un veinte por ciento de pérdidas equivale a cientos de millones por ciclo de entrenamiento.

El paso del throughput al goodput como métrica clave refleja un cambio más profundo en la industria. La era en que el avance de la IA dependía solo de la escala (más datos, más parámetros, más cómputo) cede poco a poco ante la era de la optimización. Las empresas son conscientes de que no se pueden ampliar los clústeres indefinidamente, ni por razones económicas ni energéticas.

Según diversas estimaciones, entrenar un solo modelo frontier ya cuesta cientos de millones de dólares, y la próxima generación podría superar los mil millones. En estas condiciones, cada punto porcentual de eficiencia real tiene un valor enorme. Optimizar el goodput deja de ser un ejercicio teórico y pasa a ser una herramienta directa para recortar costes.

Las consecuencias prácticas afectan a toda la cadena, desde el diseño de los centros de datos hasta la arquitectura de los frameworks de entrenamiento. En el hardware, supone prestar más atención a la tolerancia a fallos: si uno de los miles de aceleradores se avería, el sistema debe redistribuir la carga sin perder progreso, en lugar de retroceder al último checkpoint y perder horas de trabajo. En el software, implica estrategias de checkpointing más inteligentes, métodos asíncronos de actualización de gradientes y algoritmos avanzados de sharding que minimicen la sobrecarga de comunicación entre nodos.

Google, Meta* y otros grandes actores ya invierten con fuerza en infraestructuras donde el goodput es una métrica de primer nivel en el diseño de los sistemas de entrenamiento.

Hay otro aspecto que a menudo se pasa por alto. El goodput obliga a pensar no solo en la rapidez con que se procesan los datos, sino en qué datos se procesan. No todos los tokens son igual de útiles para el entrenamiento. Enfoques como el curriculum learning y la selección inteligente de datos, en los que el modelo recibe los ejemplos más informativos en el momento oportuno, elevan directamente el goodput en su sentido más amplio: una medida del progreso real del modelo por unidad de cómputo invertida.

El concepto de goodput es, en esencia, un reconocimiento de la madurez de la industria. Cuando una tecnología es joven, todos persiguen las cifras máximas sobre el papel. Cuando madura, el foco pasa al rendimiento real. Para las empresas que entrenan la próxima generación de modelos de lenguaje, la diferencia entre throughput y goodput es la diferencia entre quemar cientos de millones de dólares e invertir con criterio en el progreso. Y quienes primero aprendan a maximizar el trabajo útil de sus clústeres obtendrán una ventaja competitiva decisiva en la carrera por la inteligencia artificial de nueva generación.

*Meta está reconocida como organización extremista y prohibida en la Federación de Rusia.