Copy-Paste Language Models añaden una cabeza de copia a LLM de 135M a 1,7B parámetros

Copy-Paste Language Models (CPLMs) proponen algo sencillo: mantener la cabeza LM habitual del transformer y añadir a su lado una cabeza Copy-Paste ligera, que aprende por separado a copiar tokens del contexto. Los autores preentrenaron modelos de 135M a 1,7B parámetros e informan de mejoras en todas las escalas y en distintos backbones. El entrenamiento, además, se vuelve más eficiente, y los costes adicionales de entrenamiento e inferencia son, según los autores, despreciables.

La copia como tarea independiente

Se suele dar por hecho que los transformers copian bien. El mecanismo de atención permite localizar el token necesario en la entrada y trasladarlo a la salida, de modo que el modelo suele reproducir sin problemas un nombre de un documento o un identificador de código. Los autores cuestionan que eso sea suficiente. Muestran que la capacidad de un LLM para copiar desde el contexto puede reforzarse si se modela de forma explícita.

La idea de los mecanismos de copia no es nueva: las redes pointer-generator se usan desde hace tiempo en tareas como el resumen automático. La novedad está en que la cabeza Copy-Paste se integra en el preentrenamiento de un modelo de lenguaje de propósito general, y no en una tarea concreta. El resumen publicado no detalla la implementación: cómo mezcla exactamente la cabeza su salida con la distribución de la cabeza LM solo se sabrá con el texto completo del artículo.

El cuello de botella del gradiente en la cabeza LM

Lo más interesante del trabajo es la explicación de por qué esto ayuda. La cabeza LM estándar proyecta el estado oculto del modelo a logits sobre todo el vocabulario. La dimensión del estado oculto es mucho menor que el tamaño del vocabulario, así que toda la señal de entrenamiento pasa por esa proyección, que limita cómo fluye el gradiente de vuelta a la red. A esto se le llama gradient bottleneck.

Según los autores, la cabeza Copy-Paste crea una vía alternativa para el gradiente y mitiga en parte ese cuello de botella. La palabra «en parte» es importante: no se trata de eliminar el problema por completo, sino de explicar la mejora observada. Si el mecanismo funciona de verdad así, la ganancia no depende únicamente de que copiar resulte más cómodo en inferencia: el modelo también aprende con más eficacia durante el preentrenamiento.

Qué se afirma en los experimentos

El resumen ofrece resultados cualitativos, sin valores concretos de métricas:

• Rango de modelos: de 135M a 1,7B parámetros, preentrenamiento desde cero.
• Se declaran mejoras en todas las escalas y en todos los backbones probados.
• Aumentan la eficiencia del entrenamiento y la calidad en tareas downstream.
• Aparecen nuevos puntos de operación (operating points) para contexto largo y escenarios de retrieval.
• Los costes adicionales de entrenamiento e inferencia se describen como despreciables.

Conclusiones prácticas

Para los equipos que preentrenan modelos pequeños, el trabajo ofrece un candidato barato para ablaciones. Una cabeza adicional no obliga a rehacer el pipeline, y el coste computacional declarado es cercano a cero. Para RAG y tareas de contexto largo, donde el modelo debe trasladar con exactitud fragmentos de la entrada, el modelado explícito de la copia parece un punto de mejora lógico.

También están claras las limitaciones. El techo de los experimentos es 1,7B parámetros, por lo que se desconoce si el efecto se mantendrá en modelos de decenas o cientos de miles de millones. Los resultados se obtuvieron en preentrenamiento, no en fine-tuning, así que aplicar el método a un modelo ya entrenado sin entrenamiento adicional resulta poco probable. Por último, sin las cifras concretas del texto completo es difícil valorar el tamaño de la mejora: «mejoras en todas las escalas» puede significar tanto un salto notable como un avance modesto pero estable.

Antes de adoptarlo conviene esperar al código y a las tablas de resultados. Si lo declarado se confirma, será un caso poco frecuente: un cambio de arquitectura que apenas cuesta nada y que, aun así, corrige un punto débil concreto del entrenamiento.