Un potente modelo ruso considera «me gustan los gatos» y «no me gustan los gatos» similares en un 70%
Un embedding convierte una frase en un conjunto de números para que la búsqueda encuentre textos cercanos en significado. El autor de una serie en Habr elige la base para un modelo ruso compacto de 29,4M parámetros y comprueba a un «maestro» grande, DeepPavlov. Este considera similares en un 70% «me gustan los gatos» y «no me gustan los gatos», y en un 65,5% «el médico recetó» y «el médico canceló el tratamiento». Por eso, en búsqueda y deduplicación para medicina y derecho, conviene comprobar el modelo con negaciones de antemano.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine una búsqueda en una base de documentos que considera casi idénticas las frases «el médico recetó el tratamiento» y «el médico canceló el tratamiento». Así se comporta un potente modelo ruso de embeddings que el autor de la serie en Habr tomó como «maestro». Un embedding convierte el texto en un vector, es decir, en un conjunto de números, y la similitud entre dos frases se calcula como el coseno del ángulo entre vectores: 100% (1,0) significa que el significado coincide, y cerca de 0% significa que no tienen nada en común.
En el maestro, «me gustan los gatos» y «no me gustan los gatos» obtuvieron 0,702, es decir, aproximadamente un 70% de similitud, aunque su significado es opuesto. Esta es la primera parte de una serie de diez artículos sobre la compresión del modelo a 29,4 millones de parámetros.
¿Qué hace el autor y para qué?
El método se llama destilación: un «estudiante» pequeño aprende a reproducir el comportamiento de un «maestro» grande para funcionar rápido y en un procesador común, sin GPU. El autor aclara de entrada que no es programador: todo el código lo escribió la red neuronal DeepSeek, y él se encargó de depurarlo y corregir errores. El entorno es estándar: PyTorch para CPU, transformers y sentence-transformers. La primera ejecución descargará unos 940 MB (el maestro DeepPavlov unos 700 MB, y turbo y tiny2 de 120 MB cada uno), y el script en sí se completa en dos minutos.
Hay tres candidatos. Los dos primeros, cointegrated/rubert-tiny2 y sergeyzh/rubert-tiny-turbo, tienen 3 capas, vectores de 312 dimensiones y 29,4M parámetros. La diferencia es que turbo se entrenó adicionalmente para comparar textos (entrenamiento contrastivo). El tercero, DeepPavlov/rubert-base-cased-sentence, tiene 12 capas y 768 dimensiones, y cumple el papel de maestro.
Cómo se compararon los modelos
La métrica se llama gap, brecha: la similitud media en pares de igual significado menos la similitud media en pares de significado distinto. Cuanto mayor sea la brecha, mejor separa el modelo los significados. El conjunto de prueba es diminuto, solo 10 pares: 4 parafraseos («el gato está sentado en la silla» y «el gato se sentó en la silla»), 3 pares con negación o acción opuesta y 3 pares de temas distintos, como el borsch y el teorema de Pitágoras.
El autor subraya que se trata de una exploración para elegir la capa y el método de agregación de tokens en un vector (mean, CLS, max, last-token), y no de una evaluación de calidad. La calidad la medirá más adelante con 590 pares de validación y un conjunto externo de 5000 pares.
Las mejores combinaciones fueron estas:
- tiny2: capa L2 con CLS, brecha de 0,064;
- turbo: capa L2 con la media de tokens, brecha de 0,125;
- DeepPavlov: capa L11 con la media, brecha de 0,329.
Turbo es casi el doble de bueno que tiny2 con la misma arquitectura: ayudó el preentrenamiento para comparar textos, mientras que tiny2 sigue siendo un modelo base entrenado para adivinar palabras omitidas. El maestro es unas 2,5 veces más fuerte que turbo. El autor no pretende igualarlo en semántica absoluta; le basta con acercarse lo suficiente como para que funcionen la búsqueda y la eliminación de duplicados.
Ceguera ante la negación
El hallazgo principal no es el tamaño, sino que el maestro casi no percibe la palabra «no». Similitud en pares de significado opuesto:
- «él consiguió trabajo» y «él no consiguió trabajo»: 0,578 (unos 58%);
- «me gustan los gatos» y «no me gustan los gatos»: 0,702 (unos 70%);
- «el médico recetó el tratamiento» y «el médico canceló el tratamiento»: 0,655 (unos 66%).
El autor lo explica así. El modelo base aprendió a reconstruir palabras omitidas, y la contribución de una palabra corta se diluye. La agregación por tokens lo debilita aún más. En la práctica, el umbral de deduplicación se activa por error: los registros con significado opuesto se consideran duplicados. La búsqueda, a su vez, coloca lo «opuesto» en lo más alto de los resultados. En psicoterapia, derecho y medicina esto es peligroso: «fármaco recetado» y «fármaco suspendido» no pueden fusionarse.
El autor eligió turbo como estudiante. Su brecha ya es mayor, así que basta con adaptar la semántica en lugar de enseñarla desde cero. Se toma solo el encoder, la agregación nativa se sustituye por un mecanismo de atención propio (Attention Pooling) y se conservan las representaciones entrenadas para comparación. El autor planea suprimir las negaciones mediante entrenamiento contrastivo con un conjunto de pares difíciles.
Qué conviene llevarse
Antes de elegir un embedder, reúna su propio mini-conjunto de 10 a 20 pares: negaciones, antónimos, sustitución de verbos. Llevará alrededor de una hora y mostrará el problema antes de llegar a producción. No dé por hecho que un modelo grande es automáticamente mejor: su punto ciego ante el «no» también puede existir en él.
Las limitaciones son evidentes. Diez pares son muy pocos para sacar conclusiones sobre la calidad, y el propio autor lo reconoce. Las cifras corresponden a su conjunto y no tienen por qué repetirse con sus datos. El resultado de la destilación aparecerá solo en las próximas partes, así que es pronto para juzgarlo. Pero el método de selección de la base es transparente, y la comprobación de negaciones será útil en cualquier proyecto de búsqueda semántica.
- 21 nov 2026MLCommons empieza a medir las API de IA bajo carga real: 7 mediciones para agentes
- 21 nov 2026Durante tres días, a través de OpenRouter respondió un DeepSeek manipulado: las negativas cayeron del 83–98 % a un 1 %
- 21 nov 2026Alisa, ChatGPT y Perplexity citan solo 34 de 309 plataformas para artículos
- 21 nov 2026CoreWeave mide Vera Rubin: hasta 10 veces más tokens por megavatio que la GB200
Preguntas frecuentes sobre la noticia
¿Qué hace el autor y para qué?
El método se llama destilación: un «estudiante» pequeño aprende a reproducir el comportamiento de un «maestro» grande para funcionar rápido y en un procesador común, sin GPU. El autor aclara de entrada que no es programador: todo el código lo escribió la red neuronal DeepSeek, y él se encargó de depurarlo y corregir errores. El entorno es estándar: PyTorch para CPU, transformers y sentence-transformers.
Cómo se compararon los modelos?
La métrica se llama gap, brecha: la similitud media en pares de igual significado menos la similitud media en pares de significado distinto. Cuanto mayor sea la brecha, mejor separa el modelo los significados. El conjunto de prueba es diminuto, solo 10 pares: 4 parafraseos («el gato está sentado en la silla» y «el gato se sentó en la silla»), 3 pares con negación o acción opuesta y 3 pares de temas distintos, como el borsch y el teorema de Pitágoras.
¿Qué se sabe sobre Ceguera ante la negación?
El hallazgo principal no es el tamaño, sino que el maestro casi no percibe la palabra «no». Similitud en pares de significado opuesto: «él consiguió trabajo» y «él no consiguió trabajo»: 0,578 (unos 58%); «me gustan los gatos» y «no me gustan los gatos»: 0,702 (unos 70%); «el médico recetó el tratamiento» y «el médico canceló el tratamiento»: 0,655 (unos 66%). El autor lo explica así. El modelo base aprendió a reconstruir palabras omitidas, y la contribución de una palabra corta se diluye.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.