Un grant de Yandex financia un motor para LLM: un modelo de 35B en una RTX 2080 Ti, tres veces más rápido que llama.cpp
El autor destinó el grant de Yandex de 600 000 rublos a TinyCoder, un motor para ejecutar redes neuronales en casa, escrito desde cero en C++ y CUDA. El modelo Ornith-1.5-35B-A3B pesa 34,4 GB, mientras que la veterana RTX 2080 Ti solo tiene 11 GB, por lo que parte del modelo se carga sobre la marcha. Aun así, genera 53,6 tokens por segundo frente a los 17,1 de llama.cpp, es decir, tres veces más rápido. En modelos densos grandes la ventaja casi desaparece, así que conviene comprobarlo con tu propia tarea.
Procesado por IA desde Habr AI; editado por Hamidun News
Ejecutar grandes redes neuronales en casa no está limitado por la potencia de la tarjeta gráfica, sino por su memoria: la mayoría de los desarrolladores tiene una GPU de 8 a 12 GB, mientras que los modelos interesantes pesan decenas de gigabytes. Un desarrollador ruso recibió de Yandex un grant de 600 000 rublos y lo invirtió en TinyCoder, un motor para modelos locales escrito desde cero en C++ y CUDA. El resultado se resume en una cifra: el modelo Ornith-1.
5-35B-A3B, de 34,4 GB, funciona en una RTX 2080 Ti con 11 GB de memoria y genera 53,6 tokens por segundo. Un token equivale aproximadamente a una palabra o a una parte de ella, así que se trata de la velocidad a la que se escribe la respuesta. El popular motor llama.
cpp, en el mismo escenario, alcanza 17,1 tokens por segundo, es decir, tres veces menos.
De dónde salió el dinero y para qué el motor
A principios de 2026, Yandex lanzó grants para proyectos de código abierto en la plataforma SourceCraft. El autor presentó la biblioteca np, un análogo en C++ de NumPy con soporte para CUDA y optimizaciones SIMD manuales (AVX2, AVX-512, AMX). Según sus mediciones, es entre 2 y 20 veces más rápida que el original y consume una vez y media menos de memoria. El proyecto resultó ganador y recibió 600 000 rublos.
Después surgió la pregunta de en qué gastarlos. Reescribir todo NumPy no tenía sentido, porque el autor ya había resuelto la tarea de la aceleración. Eligió un agente de IA local para programar y se centró en el motor que lo sustenta. Consideró demasiado cara una máquina virtual en la nube con GPU y trabajó en un PC doméstico: Intel i7-4790K, 32 GB de DDR3 y una RTX 2080 Ti de 11 GB.
El código del motor lo escribieron sobre todo redes neuronales. Al principio, el autor usó DeepSeek V4 y luego DeepSeek V4.1 Flash: según él, eran más baratos y generaban mejor código que gpt-oss-120b o Qwen3-235B. Cuando el 11 de octubre de 2026 SourceCraft dejó de funcionar tras un incidente en un centro de datos de Yandex, quedaban unos 200 000 rublos en la cuenta del grant. Los modelos en la nube de Yandex dejaron de estar disponibles y hubo que pasar al proveedor externo DeepSeek. Para un proyecto de agente local, es un buen argumento: no debe depender de servicios ajenos.
Cómo un modelo de 34 GB cabe en 11 GB
tinycoder-inference no es un envoltorio sobre ggml ni sobre PyTorch. De código externo solo usa la biblioteca np y cuBLAS para las multiplicaciones de matrices densas. Los kernels de descuantización, las multiplicaciones de matrices en int8, la flash attention y los muestreadores los escribió el autor. El motor lee directamente los formatos GGUF (cuantizaciones de Q2_K a Q6_K, la serie IQ y la ternaria pq2_0) y EXL3, sin conversión y sin Python en cada token.
El truco principal se relaciona con los modelos Mixture-of-Experts (MoE). Este tipo de modelo está formado por muchos «expertos», pero para cada token solo trabaja una pequeña parte de ellos. Por eso la parte densa permanece en la memoria de vídeo, mientras que los expertos se cargan en flujo a través de una capa de tipo arena. Imagine una biblioteca con una pequeña sala de lectura: sobre la mesa están los libros necesarios y el resto se trae del depósito bajo demanda.
El planificador de contexto también trabaja según la situación real: antes de cargar el modelo, mide la VRAM y la RAM libres y elige por sí mismo la precisión de la caché KV. En la RTX 2080 Ti, esto permite hasta 196 352 tokens de contexto para un modelo de 9B y hasta 64 256 para uno de 27B.
Qué mostraron las mediciones y dónde está el límite
Las mediciones se hicieron con el esquema pp512/tg128: procesamiento de un prompt de 512 tokens y generación de 128 tokens, en tres pares de ejecuciones alternadas.
- Qwen2.5-Coder-1.5B q2_k: prompt de 12 240 frente a 7 679 tokens/s en llama.cpp; generación de 325,9 frente a 321,6.
- El mismo modelo en formato iq3_xxs: 12 243 frente a 10 007; generación de 273,8 frente a 262,2.
- Ornith-1.5-35B-A3B en modo híbrido: prompt de 176,3 frente a 132,2; generación de 53,6 frente a 17,1.
- Bonsai-27B ternario: 880,6 frente a 878,5 en el prompt y 51,7 frente a 50,4 en la generación, prácticamente paridad.
- Qwen3.8-27B en EXL3 frente a exllamav3: en el prompt, 727,5 frente a 719,5; en la generación, algo más lento, 23,60 frente a 23,76.
Conviene leer estas cifras con sensatez. Son mediciones de un solo autor, en una sola tarjeta de la generación Turing. Ampere (RTX 3090) todavía está en depuración, y las tarjetas nuevas funcionan mediante PTX JIT compatible o SASS básico. La ganancia es notable en cuantizaciones ligeras y en la descarga de MoE, mientras que en modelos densos grandes el motor prácticamente igualó a sus competidores.
Pasarela y planes
Para que el motor funcione con cualquier agente, el autor escribió en Go una pasarela, tinycoder-openai. Admite /v1/chat/completions, /v1/responses y la API Anthropic Messages, así como tool_calls y streaming SSE. Los modelos se cargan con la primera petición y se descargan de la VRAM por timeout, y la generación puede interrumpirse dentro del propio bucle por capas. El ejecutable pesa 9 MB y la biblioteca nativa, 145 MB. Entre los planes próximos están la decodificación especulativa y los kernels para tarjetas gráficas modernas.
La conclusión práctica: si ejecutas modelos locales en una tarjeta de consumo, sobre todo un modelo MoE grande con poca VRAM, merece la pena probar tu propio escenario en TinyCoder y compararlo con llama.cpp. El proyecto es joven, pero los resultados en hardware antiguo muestran que todavía queda margen de velocidad.
- 22 nov 2026Una IA de voz en ruso en 21 MB: tiny-voca-ru funciona sin conexión en CPU
- 21 nov 2026GigaChat: séptimo en el ranking ciego en ruso, pero 78 puntos Elo por detrás del líder
- 21 nov 2026MiniMind, un proyecto abierto, permite entrenar tu propio LLM desde cero por 0,42 $ en una RTX 3090
- 21 nov 2026El agente Skein borra las etapas antiguas del contexto: 97% de ejecuciones exitosas, pero más caro que OpenCode
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre De dónde salió el dinero y para qué el motor?
A principios de 2026, Yandex lanzó grants para proyectos de código abierto en la plataforma SourceCraft. El autor presentó la biblioteca np, un análogo en C++ de NumPy con soporte para CUDA y optimizaciones SIMD manuales (AVX2, AVX-512, AMX). Según sus mediciones, es entre 2 y 20 veces más rápida que el original y consume una vez y media menos de memoria. El proyecto resultó ganador y recibió 600 000 rublos. Después surgió la pregunta de en qué gastarlos.
Cómo un modelo de 34 GB cabe en 11 GB?
tinycoder-inference no es un envoltorio sobre ggml ni sobre PyTorch. De código externo solo usa la biblioteca np y cuBLAS para las multiplicaciones de matrices densas. Los kernels de descuantización, las multiplicaciones de matrices en int8, la flash attention y los muestreadores los escribió el autor. El motor lee directamente los formatos GGUF (cuantizaciones de Q2_K a Q6_K, la serie IQ y la ternaria pq2_0) y EXL3, sin conversión y sin Python en cada token.
¿Qué se sabe sobre Qué mostraron las mediciones y dónde está el límite?
Las mediciones se hicieron con el esquema pp512/tg128: procesamiento de un prompt de 512 tokens y generación de 128 tokens, en tres pares de ejecuciones alternadas. Qwen2.5-Coder-1.5B q2_k: prompt de 12 240 frente a 7 679 tokens/s en llama.cpp; generación de 325,9 frente a 321,6. El mismo modelo en formato iq3_xxs: 12 243 frente a 10 007; generación de 273,8 frente a 262,2. Ornith-1.5-35B-A3B en modo híbrido: prompt de 176,3 frente a 132,2; generación de 53,6 frente a 17,1.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.