ELR enseña a un solo modelo a girar en bucle: Koi-4B logra 18 y 29 puntos

Los autores de un preprint de arXiv propusieron Elastic Latent Recurrence (ELR), una receta de entrenamiento para modelos de lenguaje en bucle que, con una sola pasada, no pierden frente a los convencionales. En un modelo dense de 4B, ELR con una pasada queda 0,52 puntos por debajo de una línea base comparable en el promedio de diez tareas; en un híbrido MoE 30B-A3B, 1,04 puntos por encima. Cuatro pasadas añaden 7,25 y 4,75 puntos, respectivamente. Tras el posentrenamiento resultó Koi-4B: alrededor de 18 puntos en el Artificial Analysis Intelligence Index con una pasada, al nivel de Qwen3.5-4B, y 29 con cuatro.

El impuesto de un solo paso

Un modelo recurrente latente aplica el mismo bloque de capas varias veces seguidas. El número de repeticiones se convierte en un mando de ajuste: si se quiere velocidad, se fija un ciclo; si se quiere precisión, más. Un único checkpoint atiende tanto las consultas baratas como las complejas. En teoría resulta cómodo. En la práctica, con una sola pasada estos modelos son claramente más débiles que un modelo convencional del mismo tamaño. Los autores lo llaman «impuesto de un solo paso». Mientras exista, cuando los requisitos de latencia son estrictos lo más sensato es desplegar un modelo no recurrente aparte, y toda la idea de un checkpoint flexible pierde sentido.

ELR apunta precisamente a ese impuesto. Con una pasada, el modelo cuesta en servicio lo mismo que uno convencional y, entrenado con los mismos datos, alcanza una precisión comparable. Cada ciclo adicional compra más precisión a cambio de más cómputo de inferencia.

Tres decisiones y varios trucos de ingeniería

La receta se sostiene sobre tres decisiones. La primera: una actualización del estado con compuerta (gate) y un tamaño de paso entrenable. La segunda: el número de ciclos se mezcla dentro de cada paso del optimizador, en lugar de fijarse para toda la ejecución. La tercera: cada pasada recibe una condición en forma de índice de ciclo y de presupuesto total. Los dos primeros preservan la calidad con un ciclo; el tercero reduce la loss en cada ciclo adicional.

Por separado, los autores abordaron el coste del entrenamiento. La profundidad mixta puede activarse en una etapa tardía del preentrenamiento. Si en el cambio se añade una condición con inicialización a cero, ese calendario tardío alcanza una loss menor que el entrenamiento mixto desde cero. En los modelos MoE, reutilizar en los ciclos siguientes las rutas de expertos del primer ciclo reduce un 11,7% el tiempo de la actualización mixta, sin pérdida de precisión medible. En inferencia, guardar la KV-cache de atención solo del último ciclo mantiene la memoria al nivel de una sola pasada y conserva la mayor parte de la ganancia de los ciclos adicionales.

Las cifras

• 4B dense: −0,52 puntos respecto a la línea base con un ciclo, +7,25 con cuatro.
• 30B-A3B MoE (híbrido): +1,04 puntos con un ciclo, +4,75 con cuatro.
• MoE, reutilización de las rutas del primer ciclo: −11,7% del tiempo de actualización mixta.
• KV-cache del último ciclo: memoria de atención como con una sola pasada.
• Koi-4B: alrededor de 18 en el Artificial Analysis Intelligence Index con un ciclo (estimación) y 29 con cuatro.

Dónde puede resultar útil

El efecto práctico principal afecta al serving. Hoy, los equipos que necesitan tanto respuestas rápidas como razonamiento profundo mantienen dos modelos o un enrutador entre tamaños distintos. Con un modelo de tipo ELR basta un solo conjunto de pesos: el chat y el autocompletado van con un ciclo, y las tareas complejas con cuatro. Hay menos checkpoints distintos en memoria y el despliegue es más sencillo. El salto de 18 a 29 en el AA Index de Koi-4B muestra que un modelo pequeño con margen de ciclos puede acercarse a clases más pesadas.

También hay limitaciones. Los ciclos adicionales cuestan cómputo, y las mediciones las realizaron los propios autores sobre dos arquitecturas y un índice de evaluación. Aún no hay pruebas independientes en cargas reales, y no está claro hasta qué punto la receta escala más allá de 30B. Pero para quien elige entre velocidad y calidad en hardware local o en una nube cara, conviene tener el enfoque en el radar: elimina el principal argumento en contra de los modelos en bucle.