Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Un ingeniero ejecutó un modelo de 125 000 millones de parámetros en un PC doméstico y obtuvo entre 22 y 25 tokens por segundo

Bancos y corporaciones estatales no permiten que su código ni sus tareas pasen a servicios de IA en la nube, así que el autor instaló bajo su escritorio un modelo de 125 000 millones de parámetros, con una tarjeta gráfica de 16 GB y 128 GB de memoria RAM convencional. Se trata de una arquitectura MoE: para cada token (un fragmento de palabra) solo trabajan unos 6 000 millones de parámetros. El motor Strata genera entre 22 y 25 tokens por segundo, y la versión comprimida coincide con el estándar de 8 bits en el 93,1 % de los casos. Para tareas agénticas masivas con datos cerrados, el entorno local ya funciona.

Procesado por IA desde Habr AI; editado por Hamidun News
Un ingeniero ejecutó un modelo de 125 000 millones de parámetros en un PC doméstico y obtuvo entre 22 y 25 tokens por segundo
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1La actualización del motor aportó un +79 % de velocidad en la generación de respuestas
Dato clave #2Un archivo de paginación más grande en Windows subió la cifra de 15,1 a 22,3 tokens/s (+48 %)
Dato clave #3Un segundo slot paralelo reduce la velocidad por solicitud aproximadamente a la mitad

Imagine que sus agentes de IA escriben código, analizan incidentes a partir de los registros y gestionan el backlog, mientras el departamento de seguridad del cliente pregunta adónde van las descripciones de tareas, los fragmentos de código y los datos. Si la respuesta es "a servidores ajenos en la nube", la conversación suele terminar ahí. El autor de este análisis trabaja con corporaciones estatales, bancos y grupos industriales, y resolvió el problema de forma radical: instaló bajo su escritorio un modelo de 125 000 millones de parámetros (así se mide el tamaño de una red neuronal; el "125B" del titular significa exactamente eso).

Funciona en una tarjeta gráfica de 16 GB de memoria y genera entre 22 y 25 tokens por segundo. Un token es un fragmento de palabra, así que la cifra indica la velocidad a la que el modelo "escribe" la respuesta. Ni un solo byte de datos sale del perímetro de la empresa.

¿Por qué la nube y el enmascaramiento no resuelven el problema?

Cuando los agentes trabajan con una API en la nube se envía más información de la que parece: nombres de proyectos, contrapartes, importes, URL de sistemas internos, esquemas de bases de datos y, a veces, claves de acceso. A ello se suman los metadatos: quién consultó, cuándo y cuántas veces. A esto se añaden los requisitos de la Ley 152-FZ, las políticas de conservación de las consultas, que pueden cambiar con un solo anuncio, los límites de subagentes en paralelo y la factura: un solo agente investigador puede consumir millones de tokens de entrada en una tarde.

El enmascaramiento (sustituir nombres, NIF y cantidades por marcadores de posición) ayuda, pero solo resuelve el problema en parte. El contrato y el cliente pueden adivinarse a partir de la estructura del JSON y de los identificadores de las tareas. Si se sustituye el sector por ORG_1 y el producto por PRODUCT_2, el modelo pierde el sentido sectorial y empieza a confundirse. El código y las configuraciones no se limpian con una expresión regular, los metadatos permanecen y hay que mantener el propio proceso de enmascaramiento. La conclusión del autor es que las tareas con código y datos internos deben resolverse solo en local.

Cómo caben 125B en 16 GB de memoria de vídeo

El autor probó modelos de la clase 30B-35B, pero no fueron suficientes para contextos largos, un formato de respuesta estricto y la llamada a herramientas. Un modelo "denso" de 125B en hardware doméstico daría apenas unos pocos tokens por minuto, porque para cada token habría que recorrer todos los 65 GB de pesos, incluso en formato de 4 bits. Lo que resolvió el problema fue la arquitectura MoE, la "mezcla de expertos": para cada token solo trabajan unos 6 000 millones de parámetros, y el resto de los expertos permanece en la memoria RAM y se carga cuando hace falta.

Otros unos 51 000 millones de parámetros corresponden a tablas de n-gramas, que se leen de la RAM línea a línea. En la memoria de vídeo quedan la capa de atención, las capas compartidas y los expertos "calientes".

El hardware es convencional: una RTX 5060 Ti de 16 GB, un Xeon E5-2640 v3 antiguo de 8 núcleos y 128 GiB de DDR4. El principal cuello de botella es la velocidad de la memoria: unos 25 GB/s en las lecturas aleatorias de los expertos. El arranque fue flojo: en LM Studio, unos 3 tokens por segundo; tras ajustar a mano llama.

cpp, 9,2. El motor Strata (licencia MIT), escrito específicamente para esta arquitectura, tras calibrarlo para el hardware alcanzó unos 437 tokens/s en el procesamiento del prompt y entre 25 y 28 tokens/s en la generación con la cuantización IQ3_S. Esto equivale a unas tres veces el mejor resultado de llama.

cpp. Los 22-25 tokens/s finales se obtuvieron con una cuantización más precisa y con un contexto nativo de 262 144 tokens.

Qué aportó mejoras y qué no

  • Versión del motor. La actualización de Strata junto con el decodificador especulativo (que "adivina" varios tokens por adelantado) aportó un +79 % en la velocidad de generación. El autor recomienda recalibrar los parámetros después de cada actualización.
  • Cuantización. La elección no depende de la calidad, sino de cómo se distribuye la memoria de vídeo. La variante principal coincide con el estándar de 8 bits en el 93,1 % de los casos.
  • Archivo de paginación en Windows. El factor limitante no era la memoria física, sino el límite de compromiso (RAM más archivo de intercambio). Al aumentar el archivo de paginación, la generación pasó de 15,1 a 22,3 tokens/s (+48 %).
  • Contexto y slots. El contexto largo casi no tiene coste, mientras que los slots paralelos sí lo tienen: el segundo slot consume memoria de vídeo que necesita la caché de expertos y reduce la velocidad por solicitud aproximadamente a la mitad.

Limitaciones y conclusión práctica

Se trata de una experiencia personal con un hardware concreto, no de un benchmark independiente. Las cifras dependen de la velocidad de la memoria, de la versión del motor y de la longitud del prompt, por eso el autor compara configuraciones solo con prompts idénticos de unos 10 000 tokens. Trabajar con varios agentes a la vez en una estación así está limitado.

La conclusión práctica para los equipos es la siguiente. Si manejan datos sensibles o tienen requisitos estrictos de seguridad de la información, no empiecen por el enmascaramiento: evalúen un entorno local con un modelo MoE. Reserven tiempo para la calibración y no escatimen en memoria RAM.

El resultado depende también de la preparación: las habilidades con procesos depurados, las bases de hechos preparadas de antemano y un resultado verificable (pruebas, controles y pruebas end-to-end) importan más que la velocidad de generación. Además, el entorno local sirve como canal de respaldo si se pierden las suscripciones o la conexión a internet. El pronóstico del autor es que, en uno o dos años, se impondrá en los equipos de desarrollo un modelo híbrido: la nube se encarga del diseño y de las decisiones complejas, y el modelo local asume las oleadas masivas de tareas y todo lo sensible.

Historia

Preguntas frecuentes sobre la noticia

¿Por qué la nube y el enmascaramiento no resuelven el problema?

Cuando los agentes trabajan con una API en la nube se envía más información de la que parece: nombres de proyectos, contrapartes, importes, URL de sistemas internos, esquemas de bases de datos y, a veces, claves de acceso. A ello se suman los metadatos: quién consultó, cuándo y cuántas veces.

Cómo caben 125B en 16 GB de memoria de vídeo?

El autor probó modelos de la clase 30B-35B, pero no fueron suficientes para contextos largos, un formato de respuesta estricto y la llamada a herramientas. Un modelo "denso" de 125B en hardware doméstico daría apenas unos pocos tokens por minuto, porque para cada token habría que recorrer todos los 65 GB de pesos, incluso en formato de 4 bits.

¿Qué se sabe sobre Qué aportó mejoras y qué no?

Versión del motor. La actualización de Strata junto con el decodificador especulativo (que "adivina" varios tokens por adelantado) aportó un +79 % en la velocidad de generación. El autor recomienda recalibrar los parámetros después de cada actualización. Cuantización. La elección no depende de la calidad, sino de cómo se distribuye la memoria de vídeo. La variante principal coincide con el estándar de 8 bits en el 93,1 % de los casos. Archivo de paginación en Windows.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…