Kairos: modelo em bytes para todas as modalidades converge em 440 bytes

O pesquisador independente que publica código com o apelido fabienfrfr divulgou um relatório sobre o Kairos. Trata-se da arquitetura de um modelo de fundação em bytes, pensado para ler e gerar texto, imagens, áudio, vídeo, nuvens de pontos lidar e fluxos de controle em um único espaço de bytes. Os resultados reais ainda são poucos: modelos de 1 a 15 milhões de parâmetros foram treinados até o overfitting em uma única frase de 440 bytes. O próprio autor ressalva que o relatório responde à pergunta "isso ao menos otimiza?", e não "isso é útil?".

O que há por dentro

O Kairos combina várias ideias recentes. O bloco de atenção LiZAttention2 une a atenção linear bidirecional gated-DeltaNet e a atenção de janela deslizante sobre projeções compartilhadas. Por cima vêm a agregação em blocos Attention-Residual e uma camada esparsa de Mixture-of-Experts no papel de feed-forward. Os dados de entrada de qualquer modalidade são convertidos em bytes por um codec multiescala. O treinamento usa uma tarefa de remoção de ruído com ruído uniforme: o modelo reconstrói os bytes a partir de uma sequência corrompida. Há ainda a descrição de um gate de memória do estado recorrente entre sessões. Para cada componente, o relatório traz algoritmos derivados do código.

O que foi testado

O experimento é deliberadamente modesto. O autor treinou modelos pequenos em uma única máquina local e observou se a função de perda caía. Codecs e variantes de atenção foram executados com três seeds, e outros sete fatores foram verificados em execuções únicas. Os principais números:

• LiZAttention2 e a atenção de janela isolada chegam, em 3000 passos, a uma perda mínima de cerca de 10⁻³.
• Após 600 passos, a perda mínima média dos codecs fica na faixa de 0,018 (codec patch) a 0,354 (codec convolucional depthwise).
• A ordem dos codecs é a mesma nas três seeds.
• Tamanho dos modelos no teste: 1 a 15 milhões de parâmetros, apenas texto.
• Configuração-alvo: 200M de parâmetros no total, 25M ativos. O cálculo é analítico, e a vazão não foi medida.

O achado mais interessante diz respeito às projeções de atenção compartilhadas e separadas. De início, as projeções compartilhadas davam uma vantagem visível. Com mais passos ou mais diversidade de dados, ela desaparece, e com as projeções congeladas o sinal do efeito se inverte. O autor interpreta isso como aceleração da convergência, e não como aumento de capacidade. A conclusão é mais metodológica: com uma única frase, é fácil confundir uma vantagem inicial com mérito da arquitetura.

O rearranjo e a comparação dos codecs também pedem cautela. A diferença de dezenas de vezes na perda entre o codec patch e a convolução depthwise mostra que, numa tarefa minúscula, a escolha do codec decide a velocidade de memorização. O relatório não diz o que ela renderia com dados reais. Generalização, treinamento multimodal e comparação com modelos existentes ficaram fora do trabalho. O autor deixa tudo isso para o pré-treino planejado.

Para quem isso serve

Ainda é cedo para usar o Kairos como ferramenta pronta. O código está aberto no GitHub e o pacote kairos-fm foi publicado no PyPI, então é possível desmontar os componentes e plugá-los em experimentos próprios. O material é especialmente útil para pesquisadores que testam atenção linear e MoE em hardware limitado: o relatório mostra como descartar rapidamente combinações que não funcionam.

A lição prática para quem compara arquiteturas em modelos pequenos é verificar o efeito com mais passos e dados mais variados; do contrário, a aceleração da convergência pode ser confundida com ganho de capacidade. Só será possível julgar o sucesso da ideia de um espaço de bytes para todas as modalidades após o pré-treino com dados reais e medições de vazão.