Kairos: un modelo de bytes para todas las modalidades converge con 440 bytes

Un investigador independiente que publica código bajo el alias fabienfrfr ha difundido un informe sobre Kairos. Se trata de la arquitectura de un modelo fundacional de bytes que debería leer y generar texto, imágenes, audio, vídeo, nubes de puntos lidar y flujos de control en un único espacio de bytes. Por ahora hay pocos resultados reales: se sobreajustaron modelos de 1–15 millones de parámetros a una sola frase de 440 bytes. El propio autor aclara que el informe responde a la pregunta «¿se puede optimizar esto siquiera?», y no a «¿es útil?».

Qué hay dentro

Kairos combina varias ideas recientes. El bloque de atención LiZAttention2 une la atención lineal bidireccional gated-DeltaNet con la atención de ventana deslizante sobre proyecciones compartidas. Encima se añade una agregación por bloques Attention-Residual y una capa dispersa de Mixture-of-Experts que hace de feed-forward. Los datos de entrada de cualquier modalidad se convierten en bytes mediante un códec multiescala. El entrenamiento usa una tarea de eliminación de ruido con ruido uniforme: el modelo reconstruye los bytes a partir de una secuencia con ruido. Aparte, se describe una puerta de memoria del estado recurrente entre sesiones. Para cada componente, el informe incluye algoritmos extraídos del código.

Qué se probó exactamente

El experimento es deliberadamente modesto. El autor entrenó modelos pequeños en una única máquina local y observó si la función de pérdida descendía. Los códecs y las variantes de atención se ejecutaron con tres semillas; otros siete factores se comprobaron con una sola ejecución. Las cifras clave:

• LiZAttention2 y la atención de ventana única alcanzan en 3000 pasos una pérdida mínima de en torno a 10⁻³.
• Tras 600 pasos, la pérdida mínima media de los códecs se sitúa en un rango de 0,018 (códec patch) a 0,354 (códec convolucional depthwise).
• El orden de los códecs es el mismo en las tres semillas.
• Tamaño de los modelos en la prueba: 1–15 millones de parámetros, solo texto.
• Configuración objetivo: 200M de parámetros en total, 25M activos. El cálculo es analítico; el rendimiento (throughput) no se midió.

Lo más interesante es la conclusión sobre las proyecciones de atención compartidas frente a las separadas. Al principio, las proyecciones compartidas ofrecían una ventaja visible. Al aumentar el número de pasos o la diversidad de los datos, esa ventaja desaparece, y con las proyecciones congeladas el signo del efecto se invierte. El autor lo interpreta como una aceleración de la convergencia, no como un aumento de capacidad. La conclusión es más bien metodológica: con una sola frase es fácil confundir una ventaja temprana con una virtud de la arquitectura.

La reagrupación y la comparación de códecs también exigen cautela. La diferencia de decenas de veces en la pérdida entre el códec patch y la convolución depthwise indica que, en una tarea diminuta, la elección del códec determina la velocidad de memorización. Qué aportará con datos reales, el informe no lo dice. La generalización, el entrenamiento multimodal y la comparación con modelos existentes no entraron en el trabajo. El autor deja todo eso para el preentrenamiento planificado.

A quién le sirve

Como herramienta lista para usar, Kairos aún es prematuro. El código está abierto en GitHub y el paquete kairos-fm se ha publicado en PyPI, de modo que los componentes se pueden desmontar e incorporar a experimentos propios. Resultan especialmente útiles para investigadores que prueban atención lineal y MoE con hardware limitado: el informe muestra cómo descartar rápido las combinaciones que no funcionan.

La lección práctica para quien compare arquitecturas con modelos pequeños: conviene verificar el efecto con más pasos y datos más diversos, porque de lo contrario es fácil tomar una aceleración de la convergencia por una ganancia de capacidad. El éxito de la idea de un espacio de bytes común para todas las modalidades solo podrá juzgarse tras el preentrenamiento con datos reales y la medición del rendimiento.