Mirendil presenta Fern 0.1: contexto de 10 millones de tokens, pero un agente débil

Mirendil, la startup fundada por los investigadores Behnam Neyshabur y Harsh Mehta tras su salida de Anthropic, ha presentado su primer modelo, Fern 0.1. Su rasgo principal es una ventana de contexto de 10 millones de tokens.

Un token es un fragmento de texto, aproximadamente una palabra o parte de ella. En el caso del código, 10 millones de tokens equivalen a unos 23 MB, es decir, cerca de medio millón de líneas que el modelo ve a la vez. A modo de comparación, los demás modelos con los que Mirendil se ha medido se han evaluado solo hasta aproximadamente 1 millón de tokens.

Sin embargo, en calidad con código y en el papel de agente, Fern todavía queda claramente por detrás de los líderes.

A quién le sirven 10 millones de tokens

Mirendil no apuesta por los programadores convencionales, sino por los equipos que entrenan redes neuronales. Estos equipos tienen que analizar enormes volúmenes de datos técnicos, y una ventana habitual de cientos de miles de tokens se les queda corta. La compañía propone cargar en Fern de una sola vez:

• registros de entrenamiento, es decir, los diarios en los que el modelo anota día a día las pérdidas, los fallos y las métricas;
• grabaciones del trabajo de agentes de IA durante varios días;
• fragmentos de datos de entrenamiento, para encontrar basura y duplicados.

También hay una medición del beneficio del contexto largo. Mirendil evaluó cómo predice el modelo el siguiente fragmento de código. Fern mejora sus predicciones a medida que lee el repositorio: cuanto más código ha visto, con más precisión adivina la continuación. De todos los modelos comparados, solo Fern llega a 10 millones de tokens; a los demás se les midió hasta aproximadamente 1 millón.

Hay una salvedad. Con la misma longitud de 1 millón de tokens, Kimi-K3 y Beam predicen el código con más precisión que Fern. Ambos modelos ya han pasado por un ajuste posterior al entrenamiento, mientras que Mirendil compara con ellos su versión base, es decir, el modelo tras el preentrenamiento inicial con textos. La propia compañía señala que ese ajuste suele empeorar ligeramente este indicador. Así que la comparación no favorece a Fern, pero tampoco es del todo justa para ninguna de las dos partes.

Dónde Fern todavía pierde

En las tareas en las que el modelo debe actuar como agente, los resultados son flojos. Terminal Bench 4.0 comprueba si una IA es capaz de resolver tareas en la línea de comandos, donde tiene que introducir los comandos por sí misma e interpretar su resultado. Fern 0.1 obtuvo ahí un 6,1%. Los resultados de otros modelos:

• Claude Opus 5.5: 66,4%;
• GPT-6 Astra: 57,9%;
• GLM-5.3: 41,9%.

En DeepSWE v1.1 y SWE-bench Verified el panorama es similar. Son conjuntos de tareas reales de corrección de código en proyectos existentes: el modelo debe arreglar un error o completar una función. Según Mirendil, Fern se queda por detrás de los modelos de vanguardia en aproximadamente la mitad en DeepSWE y en una cuarta parte en SWE-bench Verified. Aun así, supera a algunos modelos abiertos.

Su mejor resultado llega en SWE-Bench Pro v2-Hard, la variante difícil de este tipo de conjunto: 76,5%. Es lo mismo que logra Beam, y sigue siendo inferior a los modelos de vanguardia.

Mirendil lo explica de forma sencilla: Fern 0.1 es un modelo base tras un ciclo de entrenamiento corto. La compañía promete lanzar nuevas versiones con frecuencia.

Tamaño y planes: dos modelos más grandes

Sobre la escala de Fern 0.1, la compañía es imprecisa: entre 100 y 500 mil millones de parámetros. La horquilla es de cinco veces, así que con esta cifra es difícil estimar el coste real de ejecutar el modelo.

Los planes son bastante más ambiciosos. Mirendil ya está entrenando otros dos modelos:

• el primero, de entre 500 mil millones y 2 billones de parámetros;
• el segundo, de entre 2 y 10 billones de parámetros.

El acceso a una versión temprana de Fern está abierto bajo petición: hay que ponerse en contacto con la startup.

Qué significa para los ingenieros

Por ahora, Fern 0.1 no sustituirá a Claude ni a GPT como agente de programación: el 6,1% en Terminal Bench lo dice todo. Si su tarea consiste en leer un registro de entrenamiento enorme o revisar un gran fragmento de un dataset, 10 millones de tokens pueden resultar más útiles que unos puntos extra en las pruebas de agentes. Pero la ventaja declarada solo está confirmada, de momento, por comparaciones internas de Mirendil, y además en condiciones no demasiado favorables para Fern. La verdadera prueba empezará cuando el modelo llegue a equipos independientes y salgan versiones más grandes. Entonces se sabrá si es capaz de trabajar con contexto largo tan bien como es capaz de albergarlo.