Grant do Yandex foi para um motor de LLM: modelo de 35B na RTX 2080 Ti é três vezes mais rápido que o llama.cpp
O autor gastou o grant do Yandex de 600 000 rublos no TinyCoder, um motor para rodar redes neurais em casa, escrito do zero em C++ e CUDA. O modelo Ornith-1.5-35B-A3B tem 34,4 GB, enquanto a RTX 2080 Ti mais antiga tem apenas 11 GB, então parte do modelo é carregada durante o funcionamento. Mesmo assim, ele gera 53,6 tokens por segundo contra 17,1 do llama.cpp, ou seja, três vezes mais rápido. Em modelos densos grandes, a vantagem praticamente desaparece, então vale testar na sua própria tarefa.
Processado por IA de Habr AI; editado por Hamidun News
Rodar grandes redes neurais em casa é limitado não pela potência da placa de vídeo, mas pela sua memória: a maioria dos desenvolvedores tem uma placa com 8 a 12 GB, enquanto os modelos interessantes pesam dezenas de gigabytes. Um desenvolvedor russo recebeu do Yandex um grant de 600 000 rublos e o gastou no TinyCoder, um motor para modelos locais escrito do zero em C++ e CUDA. O resultado em um número: o modelo Ornith-1.
5-35B-A3B, de 34,4 GB, roda em uma RTX 2080 Ti com 11 GB de memória e gera 53,6 tokens por segundo. Um token é aproximadamente uma palavra ou parte dela, então estamos falando da velocidade com que a resposta é exibida. O popular motor llama.
cpp, no mesmo cenário, entrega 17,1 tokens por segundo, ou seja, três vezes menos.
De onde veio o dinheiro e por que um motor
No início de 2026, o Yandex lançou grants para projetos open-source na plataforma SourceCraft. O autor inscreveu a biblioteca np, um análogo em C++ do NumPy com suporte a CUDA e otimizações manuais de SIMD (AVX2, AVX-512, AMX). Segundo suas medições, ela é de 2 a 20 vezes mais rápida que o original e consome cerca de metade da memória. O projeto venceu, e 600 000 rublos caíram na conta.
Depois surgiu a questão de como gastar o dinheiro. Reescrever todo o NumPy não fazia sentido, pois o problema de aceleração já estava resolvido. Ele escolheu um agente local de programação e, em seguida, concentrou-se no motor que o sustenta. Uma máquina virtual em nuvem com GPU lhe pareceu cara demais, então ele trabalhou em um PC doméstico: Intel i7-4790K, 32 GB de DDR3 e uma RTX 2080 Ti com 11 GB.
O código do motor foi escrito em grande parte por redes neurais. Inicialmente, o autor usou o DeepSeek V4 e depois o DeepSeek V4.1 Flash: segundo ele, eram mais baratos e produziam código melhor que o gpt-oss-120b ou o Qwen3-235B. Quando, em 11 de outubro de 2026, o SourceCraft ficou fora do ar após um incidente no data center do Yandex, restavam cerca de 200 000 rublos na conta do grant. Os modelos em nuvem do Yandex ficaram indisponíveis, e foi preciso migrar para o provedor externo DeepSeek. Para um projeto sobre um agente local, esse é um bom argumento: ele não deve depender de serviços de terceiros.
Como um modelo de 34 GB cabe em 11 GB
O tinycoder-inference não é um wrapper sobre ggml ou PyTorch. Do código externo, ele usa apenas a biblioteca np e o cuBLAS para multiplicações densas de matrizes. Os kernels de desquantização, as multiplicações de matrizes em int8, o flash attention e os samplers foram escritos pelo próprio autor. O motor lê os formatos GGUF (quantizações de Q2_K a Q6_K, a série IQ e o ternário pq2_0) e o EXL3 diretamente, sem conversão e sem Python a cada token.
O principal truque envolve modelos Mixture-of-Experts (MoE). Esse tipo de modelo é composto por muitos "especialistas", mas a cada token funciona apenas uma pequena parte deles. Por isso, a parte densa permanece na memória de vídeo, enquanto os especialistas são carregados sob demanda por meio de uma camada de "arena". Imagine uma biblioteca com uma pequena sala de leitura: os livros necessários ficam sobre a mesa, e o restante é trazido do depósito conforme a solicitação.
O planejador de contexto também age de acordo com a situação: antes do carregamento, ele mede a VRAM e a RAM livres e escolhe sozinho a precisão do KV-cache. Na RTX 2080 Ti, isso permite até 196 352 tokens de contexto para um modelo de 9B e até 64 256 para um de 27B.
O que as medições mostraram e onde está o limite
As medições foram feitas no esquema pp512/tg128: processamento de 512 tokens de prompt e geração de 128 tokens, em três pares de execuções alternadas.
- Qwen2.5-Coder-1.5B q2_k: prompt 12 240 contra 7 679 tokens/s do llama.cpp; geração 325,9 contra 321,6.
- O mesmo modelo no formato iq3_xxs: 12 243 contra 10 007; geração 273,8 contra 262,2.
- Ornith-1.5-35B-A3B no modo híbrido: prompt 176,3 contra 132,2; geração 53,6 contra 17,1.
- Bonsai-27B ternário: 880,6 contra 878,5 no prompt e 51,7 contra 50,4 na geração, praticamente empate.
- Qwen3.8-27B em EXL3 contra exllamav3: no prompt, 727,5 contra 719,5; na geração, um pouco mais lento, 23,60 contra 23,76.
Os números devem ser lidos com cautela. São medições de um único autor, em uma única placa da geração Turing. O suporte à Ampere (RTX 3090) ainda está em depuração, e as placas novas funcionam via PTX JIT compatível ou SASS básico. O ganho notável aparece em quantizações leves e no descarregamento de MoE, enquanto em modelos densos grandes o motor ficou aproximadamente no mesmo nível dos concorrentes.
Gateway e planos
Para que o motor funcione com qualquer agente, o autor escreveu em Go um gateway chamado tinycoder-openai. Ele suporta /v1/chat/completions, /v1/responses e a Anthropic Messages API, além de tool_calls e streaming SSE. Os modelos são carregados na primeira requisição e removidos da VRAM após um timeout, e a geração pode ser interrompida diretamente dentro do laço por camadas. O executável tem 9 MB; a biblioteca nativa, 145 MB. Nos planos imediatos estão a decodificação especulativa e kernels para placas de vídeo modernas.
A conclusão prática: se você roda modelos locais em uma placa de consumo, especialmente um MoE grande com pouca VRAM, vale executar o seu cenário no TinyCoder e compará-lo com o llama.cpp. O projeto é jovem, mas os resultados em hardware antigo indicam que ainda há folga de velocidade.
- 22 de nov. de 2026IA de voz em russo cabe em 21 MB: tiny-voca-ru roda offline na CPU
- 21 de nov. de 2026GigaChat — 7º no ranking cego em russo, mas 78 pontos Elo atrás do líder
- 21 de nov. de 2026O MiniMind, projeto aberto, permite treinar a sua própria LLM do zero por US$ 0,42 em uma RTX 3090
- 21 de nov. de 2026Agente Skein apaga etapas antigas do contexto: 97% de execuções bem-sucedidas, mas mais caro que o OpenCode
Perguntas frequentes sobre a notícia
O que se sabe sobre De onde veio o dinheiro e por que um motor?
No início de 2026, o Yandex lançou grants para projetos open-source na plataforma SourceCraft. O autor inscreveu a biblioteca np, um análogo em C++ do NumPy com suporte a CUDA e otimizações manuais de SIMD (AVX2, AVX-512, AMX). Segundo suas medições, ela é de 2 a 20 vezes mais rápida que o original e consome cerca de metade da memória. O projeto venceu, e 600 000 rublos caíram na conta. Depois surgiu a questão de como gastar o dinheiro.
Como um modelo de 34 GB cabe em 11 GB?
O tinycoder-inference não é um wrapper sobre ggml ou PyTorch. Do código externo, ele usa apenas a biblioteca np e o cuBLAS para multiplicações densas de matrizes. Os kernels de desquantização, as multiplicações de matrizes em int8, o flash attention e os samplers foram escritos pelo próprio autor. O motor lê os formatos GGUF (quantizações de Q2_K a Q6_K, a série IQ e o ternário pq2_0) e o EXL3 diretamente, sem conversão e sem Python a cada token. O principal truque envolve modelos Mixture-of-Experts (MoE).
O que as medições mostraram e onde está o limite?
As medições foram feitas no esquema pp512/tg128: processamento de 512 tokens de prompt e geração de 128 tokens, em três pares de execuções alternadas. Qwen2.5-Coder-1.5B q2_k: prompt 12 240 contra 7 679 tokens/s do llama.cpp; geração 325,9 contra 321,6. O mesmo modelo no formato iq3_xxs: 12 243 contra 10 007; geração 273,8 contra 262,2. Ornith-1.5-35B-A3B no modo híbrido: prompt 176,3 contra 132,2; geração 53,6 contra 17,1.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.