Un ingeniero ejecutó un modelo de 125 000 millones de parámetros en un PC doméstico y obtuvo entre 22 y 25 tokens por segundo
Bancos y corporaciones estatales no permiten que su código ni sus tareas pasen a servicios de IA en la nube, así que el autor instaló bajo su escritorio un modelo de 125 000 millones de parámetros, con una tarjeta gráfica de 16 GB y 128 GB de memoria RAM convencional. Se trata de una arquitectura MoE: para cada token (un fragmento de palabra) solo trabajan unos 6 000 millones de parámetros. El motor Strata genera entre 22 y 25 tokens por segundo, y la versión comprimida coincide con el estándar de 8 bits en el 93,1 % de los casos. Para tareas agénticas masivas con datos cerrados, el entorno local ya funciona.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine que sus agentes de IA escriben código, analizan incidentes a partir de los registros y gestionan el backlog, mientras el departamento de seguridad del cliente pregunta adónde van las descripciones de tareas, los fragmentos de código y los datos. Si la respuesta es "a servidores ajenos en la nube", la conversación suele terminar ahí. El autor de este análisis trabaja con corporaciones estatales, bancos y grupos industriales, y resolvió el problema de forma radical: instaló bajo su escritorio un modelo de 125 000 millones de parámetros (así se mide el tamaño de una red neuronal; el "125B" del titular significa exactamente eso).
Funciona en una tarjeta gráfica de 16 GB de memoria y genera entre 22 y 25 tokens por segundo. Un token es un fragmento de palabra, así que la cifra indica la velocidad a la que el modelo "escribe" la respuesta. Ni un solo byte de datos sale del perímetro de la empresa.
¿Por qué la nube y el enmascaramiento no resuelven el problema?
Cuando los agentes trabajan con una API en la nube se envía más información de la que parece: nombres de proyectos, contrapartes, importes, URL de sistemas internos, esquemas de bases de datos y, a veces, claves de acceso. A ello se suman los metadatos: quién consultó, cuándo y cuántas veces. A esto se añaden los requisitos de la Ley 152-FZ, las políticas de conservación de las consultas, que pueden cambiar con un solo anuncio, los límites de subagentes en paralelo y la factura: un solo agente investigador puede consumir millones de tokens de entrada en una tarde.
El enmascaramiento (sustituir nombres, NIF y cantidades por marcadores de posición) ayuda, pero solo resuelve el problema en parte. El contrato y el cliente pueden adivinarse a partir de la estructura del JSON y de los identificadores de las tareas. Si se sustituye el sector por ORG_1 y el producto por PRODUCT_2, el modelo pierde el sentido sectorial y empieza a confundirse. El código y las configuraciones no se limpian con una expresión regular, los metadatos permanecen y hay que mantener el propio proceso de enmascaramiento. La conclusión del autor es que las tareas con código y datos internos deben resolverse solo en local.
Cómo caben 125B en 16 GB de memoria de vídeo
El autor probó modelos de la clase 30B-35B, pero no fueron suficientes para contextos largos, un formato de respuesta estricto y la llamada a herramientas. Un modelo "denso" de 125B en hardware doméstico daría apenas unos pocos tokens por minuto, porque para cada token habría que recorrer todos los 65 GB de pesos, incluso en formato de 4 bits. Lo que resolvió el problema fue la arquitectura MoE, la "mezcla de expertos": para cada token solo trabajan unos 6 000 millones de parámetros, y el resto de los expertos permanece en la memoria RAM y se carga cuando hace falta.
Otros unos 51 000 millones de parámetros corresponden a tablas de n-gramas, que se leen de la RAM línea a línea. En la memoria de vídeo quedan la capa de atención, las capas compartidas y los expertos "calientes".
El hardware es convencional: una RTX 5060 Ti de 16 GB, un Xeon E5-2640 v3 antiguo de 8 núcleos y 128 GiB de DDR4. El principal cuello de botella es la velocidad de la memoria: unos 25 GB/s en las lecturas aleatorias de los expertos. El arranque fue flojo: en LM Studio, unos 3 tokens por segundo; tras ajustar a mano llama.
cpp, 9,2. El motor Strata (licencia MIT), escrito específicamente para esta arquitectura, tras calibrarlo para el hardware alcanzó unos 437 tokens/s en el procesamiento del prompt y entre 25 y 28 tokens/s en la generación con la cuantización IQ3_S. Esto equivale a unas tres veces el mejor resultado de llama.
cpp. Los 22-25 tokens/s finales se obtuvieron con una cuantización más precisa y con un contexto nativo de 262 144 tokens.
Qué aportó mejoras y qué no
- Versión del motor. La actualización de Strata junto con el decodificador especulativo (que "adivina" varios tokens por adelantado) aportó un +79 % en la velocidad de generación. El autor recomienda recalibrar los parámetros después de cada actualización.
- Cuantización. La elección no depende de la calidad, sino de cómo se distribuye la memoria de vídeo. La variante principal coincide con el estándar de 8 bits en el 93,1 % de los casos.
- Archivo de paginación en Windows. El factor limitante no era la memoria física, sino el límite de compromiso (RAM más archivo de intercambio). Al aumentar el archivo de paginación, la generación pasó de 15,1 a 22,3 tokens/s (+48 %).
- Contexto y slots. El contexto largo casi no tiene coste, mientras que los slots paralelos sí lo tienen: el segundo slot consume memoria de vídeo que necesita la caché de expertos y reduce la velocidad por solicitud aproximadamente a la mitad.
Limitaciones y conclusión práctica
Se trata de una experiencia personal con un hardware concreto, no de un benchmark independiente. Las cifras dependen de la velocidad de la memoria, de la versión del motor y de la longitud del prompt, por eso el autor compara configuraciones solo con prompts idénticos de unos 10 000 tokens. Trabajar con varios agentes a la vez en una estación así está limitado.
La conclusión práctica para los equipos es la siguiente. Si manejan datos sensibles o tienen requisitos estrictos de seguridad de la información, no empiecen por el enmascaramiento: evalúen un entorno local con un modelo MoE. Reserven tiempo para la calibración y no escatimen en memoria RAM.
El resultado depende también de la preparación: las habilidades con procesos depurados, las bases de hechos preparadas de antemano y un resultado verificable (pruebas, controles y pruebas end-to-end) importan más que la velocidad de generación. Además, el entorno local sirve como canal de respaldo si se pierden las suscripciones o la conexión a internet. El pronóstico del autor es que, en uno o dos años, se impondrá en los equipos de desarrollo un modelo híbrido: la nube se encarga del diseño y de las decisiones complejas, y el modelo local asume las oleadas masivas de tareas y todo lo sensible.
- 21 nov 2026La memoria flash para SSD se abarató entre un 19 % y un 32 % en operaciones puntuales: los discos podrían bajar de precio
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026La IA escribe código vulnerable en el 44% de las pruebas: Positive Technologies da un escáner a los agentes
- 21 nov 2026Sber lanza un altavoz con GigaChat por 14 990 rublos: entiende la voz sin internet
Preguntas frecuentes sobre la noticia
¿Por qué la nube y el enmascaramiento no resuelven el problema?
Cuando los agentes trabajan con una API en la nube se envía más información de la que parece: nombres de proyectos, contrapartes, importes, URL de sistemas internos, esquemas de bases de datos y, a veces, claves de acceso. A ello se suman los metadatos: quién consultó, cuándo y cuántas veces.
Cómo caben 125B en 16 GB de memoria de vídeo?
El autor probó modelos de la clase 30B-35B, pero no fueron suficientes para contextos largos, un formato de respuesta estricto y la llamada a herramientas. Un modelo "denso" de 125B en hardware doméstico daría apenas unos pocos tokens por minuto, porque para cada token habría que recorrer todos los 65 GB de pesos, incluso en formato de 4 bits.
¿Qué se sabe sobre Qué aportó mejoras y qué no?
Versión del motor. La actualización de Strata junto con el decodificador especulativo (que "adivina" varios tokens por adelantado) aportó un +79 % en la velocidad de generación. El autor recomienda recalibrar los parámetros después de cada actualización. Cuantización. La elección no depende de la calidad, sino de cómo se distribuye la memoria de vídeo. La variante principal coincide con el estándar de 8 bits en el 93,1 % de los casos. Archivo de paginación en Windows.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.