El Apertus 1.5 suizo gana visión, oído y un contexto de 262 000 tokens

El proyecto suizo Apertus ha lanzado Apertus 1.5, una actualización de sus modelos abiertos de 8B y 70B parámetros. Ahora aceptan imágenes y audio, pueden cambiar a un modo de razonamiento, trabajan con un contexto de 262 144 tokens (cuatro veces más que Apertus 1.0) y llaman mejor a herramientas externas. Los pesos se publicaron en Hugging Face el 24 de julio de 2026 con licencia Apache 2.0, y el informe técnico detallado salió en octubre. Se trata de un ajuste adicional de la primera versión: el modelo de 8B recibió otros 4 billones de tokens de datos textuales y multimodales (19 billones en total) y el de 70B, 2 billones (17 billones en total).

Lo más destacado de esta versión es cómo el equipo ha añadido la multimodalidad. La apertura también es total: los pesos, los datos, las recetas de entrenamiento y la carta de valores son de acceso público.

Multimodalidad sin codificador independiente

En lugar del esquema habitual con un codificador visual, los desarrolladores optaron por la fusión temprana. Las imágenes y el audio se convierten en tokens discretos y viajan en la misma secuencia que el texto. Emu3.5 tokeniza las imágenes: una imagen de 512×512 genera 1 024 tokens. WavTokenizer procesa el sonido, a 40 tokens por segundo. La arquitectura sigue siendo la misma y solo se amplía el vocabulario, así que el entrenamiento se ejecuta a la velocidad de un modelo de texto. Hay una limitación: los modelos entienden imágenes y sonido, pero solo generan texto. El trabajo con voz se considera por ahora experimental.

El preentrenamiento se desarrolló en cuatro etapas: datos no emparejados (texto más imágenes y audio sueltos), datos emparejados (pies de foto de imágenes y transcripciones), cooldown con énfasis en matemáticas y código, y ampliación del contexto de 8k a 262k tokens. Más de la mitad de los tokens siguieron siendo puramente textuales para no perder las capacidades lingüísticas de Apertus 1.0. El corpus de texto se renovó con FineWeb2-HQ+, FinePDFs y Nemotron-CC. Las condiciones no cambian: solo datos públicos con licencias permisivas, y las exclusiones mediante robots.txt se respetan con efecto retroactivo.

Cinco etapas de posentrenamiento

Tras el preentrenamiento, los modelos pasan por una cadena de SFT, SFT con contexto largo, RL, DPO y alineación con la carta (SDPO).

• SFT con 3,7 millones de ejemplos de texto, más datos de imágenes y voz. Las trazas de razonamiento se añaden solo a los prompts que el modelo no resuelve sin ellas. Los datos de tool use se limitan a trayectorias verificadas mediante ejecución.
• El SFT con la ventana completa de 262k recupera la capacidad de trabajar con contexto largo, que el entrenamiento corto debilita.
• RLVR con recompensas verificables sobre unos 350 mil prompts de matemáticas, código, seguimiento de instrucciones, multilingüismo y visión, con el modo de razonamiento activado y desactivado.
• DPO sobre pares etiquetados por un juez, que mejora la calidad del chat, el uso de herramientas y la seguridad.
• SDPO alinea el modelo con la Apertus Charter mediante la retroalimentación de un juez y autodestilación. Esta etapa solo se aplicó al modelo de 8B.

En las ablaciones, el equipo observó algo curioso: los datos multimodales en el SFT mejoran los resultados en todas las modalidades. Además, la ganancia que aportan las trazas de razonamiento multimodales sobrevive al RL de texto posterior: las matemáticas mejoran más que cuando se parte de un checkpoint puramente textual.

Qué muestran los benchmarks

Los autores reconocen abiertamente que los modelos todavía van por detrás de las soluciones open-weight más avanzadas. Aun así, el progreso es visible.

• Apertus 1.5 8B supera a los modelos abiertos de tamaño similar en seguimiento de instrucciones y multilingüismo.
• El modo de razonamiento mejora los resultados en benchmarks difíciles como AIME.
• En multimodalidad, el modelo se acerca más a Gemma 4 12B y a otras soluciones open-weight actuales. Es competitivo en comprensión espacial y en el trabajo con documentos y gráficos entre los modelos totalmente abiertos.
• En tareas jurídicas suizas, el modelo está al nivel de los principales modelos open-weight.
• En el Last Translation Benchmark, la versión de 8B iguala a GPT-OSS-20B y supera a Claude Haiku 4.5 y a Google Translate.

Se ha puesto un énfasis especial en la transparencia de las evaluaciones. Los resultados se publican en el formato Every Eval Ever junto con la EvalEval Coalition: se registra no solo la puntuación, sino también quién ejecutó la prueba, cómo se accedió al modelo y qué ajustes de generación se usaron. Según la evaluación de EvalEval, el esquema cubre 56 de los 60 elementos de información que exigen el artículo 55 de la EU AI Act y el GPAI Code of Practice. Las pruebas se ejecutan sobre un fork público de lm-evaluation-harness, por lo que pueden volver a lanzarse.

Dónde conseguirlo y qué viene después

La versión incluye los modelos base y los checkpoints SFT, RL, DPO y finales para 8B y 70B (el final de 70B corresponde a la etapa DPO). En Hugging Face se han publicado los checkpoints intermedios, la mezcla de SFT de texto, el conjunto de preferencias y los pares de entrenamiento. El código se apoya en Megatron-LM y verl. Proton Lumo e Infomaniak Euria ya han integrado los modelos. Swisscom, Infomaniak, Phoeniqs y otros proveedores han anunciado APIs.

Para las empresas europeas con requisitos estrictos sobre el origen de los datos y el cumplimiento normativo, es una de las pocas opciones en las que se puede verificar todo el recorrido, desde el corpus hasta el checkpoint. Los investigadores tienen a su disposición todas las etapas para estudiarlas. Las descargas en Hugging Face ya superan los cinco millones. El equipo señaló el siguiente paso en el AI+X Summit de Zúrich: Apertus 2.0, con una arquitectura MoE dispersa de unos 600B parámetros, un calendario de entrenamiento más largo y prioridad en agentes, matemáticas y código.