Un autor de Habr comprime un modelo ruso de embeddings de 180 a 29 millones de parámetros
Los embeddings convierten textos en vectores numéricos para buscar contenido similar, eliminar duplicados y agrupar. El modelo ruso rubert-base, de 180 M de parámetros, es pesado para un servidor sin GPU y confunde «se empleó» con «no se empleó». El autor de una serie en Habr entrena un modelo pequeño para que replique sus vectores: el resultado es de 29,4 M de parámetros y 118 MB. Para búsqueda y deduplicación en CPU, se puede construir un modelo compacto adaptado a la tarea propia.
Procesado por IA desde Habr AI; editado por Hamidun News
Los embeddings son vectores numéricos en los que se convierten los textos para compararlos por significado. De ellos dependen la búsqueda en una base de conocimiento, la eliminación de duplicados y la agrupación de solicitudes. Para el ruso existen buenos modelos, pero a menudo resultan demasiado pesados para un servidor corriente sin tarjeta gráfica, es decir, para ejecutarlos solo en CPU.
En Habr ha arrancado una serie de diez artículos: el autor toma un modelo maestro grande de 180 M de parámetros (los parámetros son los pesos entrenables de la red; cuantos más tiene, más pesado y lento es el modelo) y enseña a un pequeño estudiante de 29,4 M a replicar sus vectores. Esta es la parte introductoria: no incluye métricas finales, pero describe con claridad la tarea, las restricciones y la arquitectura.
Qué problema resuelve el proyecto
El maestro es DeepPavlov/rubert-base-cased-sentence: 180 M de parámetros, 12 capas y vectores de dimensión 768. Es un modelo de calidad, pero lento en CPU. Tiene dos defectos conocidos.
El primero es la «ceguera ante la negación». Distingue mal las frases «se empleó» y «no se empleó», aunque su significado es opuesto. Para la deduplicación y la búsqueda esto es un problema: el sistema considerará esos textos casi idénticos.
El segundo es la anisotropía. Los vectores de todos los textos quedan comprimidos en un cono estrecho, por lo que la similitud coseno (una medida de cercanía entre vectores) resulta alta para cualquier par de textos. Es difícil fijar un umbral de «esto es un duplicado»: en la lista de eliminación acabarían decenas de miles de pares en lugar de unos pocos. En el modelo base sergeyzh/rubert-tiny-turbo, con sus 312 dimensiones y su promediado de tokens, la compresión es todavía mayor.
Las restricciones son estrictas: funcionamiento en CPU, tamaño de hasta 300 MB y una velocidad varias veces superior a la del maestro. La tarea no consiste solo en reducir el maestro, sino también en corregir en parte sus defectos.
Cómo está construido el estudiante
Como base se usa rubert-tiny-turbo: una versión de rubert-tiny2 preentrenada de forma contrastiva (se entrenó al modelo para acercar textos similares y alejar los distintos), por lo que la semántica de partida es mejor. El tokenizador sigue siendo el original y el vocabulario de 84 mil tokens no se amplía.
Sobre los estados ocultos ya calculados del codificador se añaden dos elementos:
- Multi-head attention pooling con 4 cabezas en lugar de un simple promediado. El propio modelo aprende a ponderar las palabras del texto: las importantes, como «no», reciben más peso. Las salidas de las cabezas se promedian.
- Una proyección lineal 312 → 768. Se necesita para el entrenamiento, con el fin de comparar al estudiante con el maestro en el espacio de este. Tras el entrenamiento, la proyección se puede conservar o desactivar: con 312 dimensiones el modelo es más pequeño y más rápido.
En el modelo principal no se aplica whitening, es decir, el «alisado» forzado del espacio de vectores: el autor cuenta con que el propio entrenamiento contrastivo acerque la distribución a una uniforme. Para el caso en que el texto del usuario difiera mucho del de entrenamiento, se ha previsto una función opcional, fit_domain().
El entrenamiento se desarrolla en dos etapas. En la Phase A el codificador está congelado y solo aprende la nueva cabeza, que intenta que sus vectores se parezcan a los del maestro. En la Phase B se descongelan las dos capas superiores y se combinan a partes iguales dos tareas: InfoNCE (distinguir la respuesta correcta de las incorrectas) y la destilación (replicar al maestro). Los datos son 243 412 textos de Wikipedia y de un corpus de psicología tras eliminar duplicados, más 99 999 tripletas de deepvk/ru-HNP: una consulta, cinco textos adecuados y cinco textos «difíciles» no adecuados.
Qué resulta útil para el profesional
En primer lugar, los objetivos son medibles de antemano. La similitud con el maestro tras la Phase A debe ser de al menos el 90 % y la final, de al menos el 85 %. La precisión de búsqueda con ejemplos negativos difíciles debe ser de al menos el 97 %, y turbo ya parte del 96,8 %. Para la deduplicación el criterio es práctico: en el borrado automático deben caer unos pocos pares, no decenas de miles. Para el clustering, la razón entre las distancias dentro de los clústeres y entre ellos debe ser claramente superior a uno.
En segundo lugar, el resultado se entrega como una herramienta lista para usar: una carpeta de unos 120 MB (los pesos en sí ocupan 117,8 MB) con la clase SemanticEmbedder, que ofrece encode, search, dedup, cluster y fit_domain. El estudiante, turbo y el maestro se comparan en un conjunto externo, ru-paraphrase-NMT-Leipzig (5000 pares), y en tres tareas prácticas.
También hay salvedades. El autor advierte con franqueza de que no es programador, de que todo el código lo escribió DeepSeek y de que él se encargó de depurar y corregir errores. Los textos se han reunido a partir de notas tomadas durante el trabajo, por lo que en algunos puntos están sin pulir. Las cifras de calidad aparecerán solo en las siguientes partes, y no se pueden trasladar a otros dominios sin verificarlas.
Como guía práctica, la serie parece útil: muestra cómo construir un modelo ligero en ruso para CPU sin partir de cero y sin depender de una sola métrica.
- 30 abr 2026Habr AI muestra cómo construir una Linear Layer en C++ y CUDA en su serie «De MNIST a Transformer»
- 2 may 2026ChatGPT para desarrollar en Python: arquitectura, CI/CD y guía práctica
- 29 oct 2026Un potente modelo ruso considera «me gustan los gatos» y «no me gustan los gatos» similares en un 70%
- 30 abr 2026Habr AI explica el descenso del gradiente en C++ y CUDA entrenando un modelo con MNIST
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué problema resuelve el proyecto?
El maestro es DeepPavlov/rubert-base-cased-sentence: 180 M de parámetros, 12 capas y vectores de dimensión 768. Es un modelo de calidad, pero lento en CPU. Tiene dos defectos conocidos. El primero es la «ceguera ante la negación». Distingue mal las frases «se empleó» y «no se empleó», aunque su significado es opuesto. Para la deduplicación y la búsqueda esto es un problema: el sistema considerará esos textos casi idénticos. El segundo es la anisotropía.
Cómo está construido el estudiante?
Como base se usa rubert-tiny-turbo: una versión de rubert-tiny2 preentrenada de forma contrastiva (se entrenó al modelo para acercar textos similares y alejar los distintos), por lo que la semántica de partida es mejor. El tokenizador sigue siendo el original y el vocabulario de 84 mil tokens no se amplía. Sobre los estados ocultos ya calculados del codificador se añaden dos elementos: Multi-head attention pooling con 4 cabezas en lugar de un simple promediado.
¿Qué se sabe sobre Qué resulta útil para el profesional?
En primer lugar, los objetivos son medibles de antemano. La similitud con el maestro tras la Phase A debe ser de al menos el 90 % y la final, de al menos el 85 %. La precisión de búsqueda con ejemplos negativos difíciles debe ser de al menos el 97 %, y turbo ya parte del 96,8 %. Para la deduplicación el criterio es práctico: en el borrado automático deben caer unos pocos pares, no decenas de miles.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.