Mirendil anuncia o Fern 0.1: contexto de 10 milhões de tokens, mas agente fraco

A startup Mirendil, fundada pelos pesquisadores Behnam Neyshabur e Harsh Mehta, que saíram da Anthropic, divulgou seu primeiro modelo, o Fern 0.1. Sua principal característica é a janela de contexto de 10 milhões de tokens. Token é um pedaço de texto, mais ou menos uma palavra ou parte dela. Em código, 10 milhões de tokens correspondem a cerca de 23 MB, ou seja, aproximadamente meio milhão de linhas que o modelo enxerga ao mesmo tempo. Para comparação, os outros modelos usados pela Mirendil como referência foram medidos apenas até cerca de 1 milhão de tokens. Mas, em qualidade de trabalho com código e como agente, o Fern ainda fica claramente atrás dos líderes.

Para quem servem 10 milhões de tokens

A Mirendil não mira os programadores comuns, e sim equipes que treinam redes neurais por conta própria. Essas pessoas precisam analisar enormes volumes de dados técnicos, e uma janela comum de centenas de milhares de tokens fica apertada para isso. A empresa propõe carregar no Fern, de uma só vez:

• logs de treinamento, isto é, os registros em que o modelo anota, dia após dia, perdas, falhas e métricas;
• registros de vários dias de trabalho de agentes de IA;
• trechos de dados de treinamento, para encontrar lixo e duplicatas.

Há também uma medição do benefício do contexto longo. A Mirendil avaliou como o modelo prevê o próximo trecho de código. O Fern melhora as previsões à medida que lê o repositório: quanto mais código ele viu, mais preciso é ao adivinhar a continuação. Entre todos os modelos comparados, só ele chega a 10 milhões de tokens; os demais foram medidos até cerca de 1 milhão.

Há uma ressalva. Com o mesmo comprimento de 1 milhão de tokens, Kimi-K3 e Beam preveem código com mais precisão que o Fern. Os dois modelos já passaram por ajuste fino (pós-treinamento), enquanto a Mirendil compara com eles a sua versão base, ou seja, o modelo após o treinamento inicial em textos. A própria empresa observa que o ajuste fino costuma piorar levemente essa métrica. Assim, a comparação não favorece o Fern, mas também não é totalmente justa para nenhum dos lados.

Onde o Fern ainda perde

Em tarefas em que o modelo precisa agir como agente, os resultados são fracos. O Terminal Bench 4.0 avalia se a IA dá conta de tarefas na linha de comando, em que é preciso digitar os comandos e interpretar o resultado. O Fern 0.1 marcou 6,1%. Resultados de outros modelos:

• Claude Opus 5.5: 66,4%;
• GPT-6 Astra: 57,9%;
• GLM-5.3: 41,9%.

No DeepSWE v1.1 e no SWE-bench Verified, o quadro é parecido. São conjuntos de tarefas reais de correção de código em projetos existentes: o modelo precisa consertar um erro ou completar uma função. Segundo a Mirendil, o Fern fica cerca de metade abaixo dos modelos de ponta no DeepSWE e um quarto abaixo no SWE-bench Verified. Ainda assim, supera alguns modelos abertos.

Seu melhor resultado vem do SWE-Bench Pro v2-Hard, uma variante difícil desse tipo de conjunto: 76,5%. É o mesmo número do Beam e, mesmo assim, fica abaixo dos modelos de ponta.

A Mirendil explica o desempenho de forma simples: o Fern 0.1 é um modelo base, que passou por um ciclo curto de treinamento. A empresa promete lançar novas versões com frequência.

Tamanho e planos: dois modelos maiores

Sobre a escala do Fern 0.1, a empresa é vaga: de 100 a 500 bilhões de parâmetros. A variação é de cinco vezes, e por esse número é difícil estimar o custo real de executar o modelo.

Os planos são bem mais ambiciosos. A Mirendil já treina outros dois modelos:

• o primeiro, com 500 bilhões a 2 trilhões de parâmetros;
• o segundo, com 2–10 trilhões de parâmetros.

O acesso à versão inicial do Fern está aberto sob solicitação: é preciso entrar em contato com a startup.

O que isso significa para engenheiros

O Fern 0.1 ainda não substitui o Claude ou o GPT como agente de programação: os 6,1% no Terminal Bench falam por si. Se a sua tarefa é ler um log de treinamento gigantesco ou verificar um grande trecho de dataset, 10 milhões de tokens podem ser mais úteis do que alguns pontos a mais em testes de agentes. Mas a vantagem declarada só foi confirmada, até agora, por comparações internas da Mirendil, e em condições nada favoráveis ao Fern. O teste real começa quando o modelo chegar a equipes independentes e saírem versões maiores. Aí ficará claro se ele sabe trabalhar com contexto longo tão bem quanto sabe comportá-lo.