Enseñan a RuBERT a usar un grafo de conocimiento: los vectores se calculan de antemano y la atención no se toca
RuBERT ve qué palabras aparecen juntas, pero no sabe que el «descenso del gradiente» es un tipo de optimización, y se confunde con términos científicos poco frecuentes. El autor de un análisis en Habr propone calcular de antemano los vectores de conceptos a partir de un grafo de conocimiento (una base con las relaciones entre términos) y concatenarlos con el vector de RuBERT antes de un clasificador pequeño. Así no hace falta recurrir al pesado K-BERT, con su límite de 512 tokens. Por ahora no hay mediciones de calidad, así que habrá que comprobarlo con datos propios.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine que construye un rubricador para una biblioteca científica o para una base interna de artículos. Toma RuBERT, la versión rusa del modelo de lenguaje BERT creada por DeepPavlov, y la ajusta con textos etiquetados. Mientras los términos son sencillos, la calidad es aceptable.
Pero llegan artículos interdisciplinares con conceptos poco frecuentes y el modelo se confunde: sabe qué palabras suelen aparecer juntas, pero no sabe que el «descenso del gradiente» es una variante de la optimización. En Habr ha aparecido un análisis de cómo cerrar esta brecha sin rediseñar el modelo a fondo: calcular de antemano los vectores de conceptos a partir de un grafo de conocimiento (una base donde las relaciones entre términos están escritas de forma explícita) y mezclarlos con la salida de RuBERT. Una advertencia previa: se trata del diseño de un método, no del informe de unos experimentos.
El material no incluye cifras de calidad y por eso tampoco aparecen en el titular.
Por qué no K-BERT ni ERNIE
El camino más evidente es integrar el grafo de conocimiento directamente en el transformer. K-BERT localiza entidades en el texto, extrae sus tripletas «sujeto — relación — objeto» y las cose a la oración, que se convierte así en un árbol. Para que la atención no se disperse por ramas innecesarias, se añaden índices posicionales especiales y una matriz de visibilidad.
Para artículos científicos largos, este enfoque tiene tres puntos débiles. La secuencia crece y el coste del mecanismo de atención crece de forma cuadrática. El límite de BERT, 512 tokens (unos pocos párrafos de texto), se agota antes y hay que recortar el contexto del artículo. Y si un término se vincula a un nodo equivocado del grafo, el error viaja a través de la atención y estropea la representación de todo el texto.
ERNIE actúa de otra manera: durante el preentrenamiento enmascara entidades nombradas completas y recupera sus descripciones de una base de conocimiento. Pero la estructura del grafo queda fuera de plano: el modelo no ve la jerarquía ni los tipos de relaciones. Además, los términos muy especializados a menudo no tienen ninguna descripción enciclopédica.
Cómo funciona el esquema ligero
La idea es no tocar las entrañas del modelo de lenguaje. El grafo de conocimiento se convierte en vectores de antemano, sin conexión, con uno de varios métodos. TransE interpreta la relación como un desplazamiento en el espacio vectorial. RotatE la trata como una rotación en un espacio complejo y capta bien las relaciones simétricas e inversas. node2vec usa recorridos aleatorios por el grafo y no requiere tipos de relaciones etiquetados.
Después hay dos flujos. El de texto: RuBERT devuelve el vector del token especial [CLS], de 768 números, que condensa el sentido de todo el documento. El de grafo: un módulo de NER (reconocimiento de entidades nombradas) encuentra conceptos científicos en el artículo, cada uno se vincula a un nodo del grafo y sus vectores se extraen por clave de una tabla congelada y se promedian. Si no se encuentra ningún concepto, se introduce un vector nulo y el clasificador se apoya solo en el texto.
Ambos vectores se concatenan y pasan a un clasificador MLP pequeño: una capa oculta de 256 neuronas, función ReLU, dropout 0,3 y softmax a la salida. En el ejemplo en PyTorch, toda la parte de grafo se reduce a nn.Embedding.from_pretrained(..., freeze=True) y unas pocas líneas de promediado con máscara. El entrenamiento usa entropía cruzada con el optimizador AdamW. Esta fusión a nivel de rasgos ya calculados, y no de datos en bruto ni de respuestas finales, permite que el clasificador aprenda la interacción entre el contexto y la estructura del grafo.
Qué aporta en la práctica y dónde está el inconveniente
La economía es simple. La búsqueda de un vector por clave cuesta O(1) por concepto, es decir, no depende del tamaño del grafo. No hacen falta pesadas redes neuronales de grafos en tiempo de ejecución y el mecanismo de atención no cambia. No se gastan tokens en conocimiento, así que ni la longitud de la entrada ni la velocidad se resienten de forma apreciable. La robustez también mejora: un término mal vinculado es un vector más entre muchos dentro de un promedio, no un contexto contaminado.
Los inconvenientes no faltan. Primero, todo depende de la calidad del NER y de la vinculación de los términos a los nodos: sin ella, el grafo no aportará nada. Segundo, se necesita un grafo ya hecho que cubra su área; de lo contrario, la mayoría de los artículos recibirán un vector nulo. Tercero, el límite de 512 tokens de BERT sigue ahí: los artículos largos seguirán teniendo que dividirse en fragmentos o reducirse al título con el resumen. Cuarto, el promediado borra el orden y la importancia de los términos, y el concepto clave puede quedar diluido entre los secundarios.
El autor planea comparar el método por Macro F1 (una métrica sensible a las clases poco frecuentes cuando los datos están desbalanceados), además de Micro F1, accuracy y milisegundos por documento. Las líneas base son: TF-IDF con regresión logística o SVM, RuBERT estándar, K-BERT y ERNIE. El criterio de éxito es una mejora del Macro F1 sobre RuBERT estándar con mayor velocidad que los híbridos pesados.
Conclusión práctica: si dispone de una ontología o un grafo del dominio y de un NER que funcione, el esquema puede montarse en un par de días. Primero compárelo con RuBERT estándar con sus propios datos y solo después decida si necesita el grafo. Por ahora es una hipótesis, y solo podrá darse por buena tras sus propias mediciones.
- 29 oct 2026Un autor de Habr comprime un modelo ruso de embeddings de 180 a 29 millones de parámetros
- 30 abr 2026IWE y OpenAI: cómo convertir notas en markdown en un grafo de conocimiento para agentes de IA
- 29 oct 2026Un potente modelo ruso considera «me gustan los gatos» y «no me gustan los gatos» similares en un 70%
- 19 jul 2026Un desarrollador crea un filtro de spam local con el modelo ruBert-base-antispam y sin VPN
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué no K-BERT ni ERNIE?
El camino más evidente es integrar el grafo de conocimiento directamente en el transformer. K-BERT localiza entidades en el texto, extrae sus tripletas «sujeto — relación — objeto» y las cose a la oración, que se convierte así en un árbol. Para que la atención no se disperse por ramas innecesarias, se añaden índices posicionales especiales y una matriz de visibilidad. Para artículos científicos largos, este enfoque tiene tres puntos débiles.
Cómo funciona el esquema ligero?
La idea es no tocar las entrañas del modelo de lenguaje. El grafo de conocimiento se convierte en vectores de antemano, sin conexión, con uno de varios métodos. TransE interpreta la relación como un desplazamiento en el espacio vectorial. RotatE la trata como una rotación en un espacio complejo y capta bien las relaciones simétricas e inversas. node2vec usa recorridos aleatorios por el grafo y no requiere tipos de relaciones etiquetados. Después hay dos flujos.
¿Qué se sabe sobre Qué aporta en la práctica y dónde está el inconveniente?
La economía es simple. La búsqueda de un vector por clave cuesta O(1) por concepto, es decir, no depende del tamaño del grafo. No hacen falta pesadas redes neuronales de grafos en tiempo de ejecución y el mecanismo de atención no cambia. No se gastan tokens en conocimiento, así que ni la longitud de la entrada ni la velocidad se resienten de forma apreciable. La robustez también mejora: un término mal vinculado es un vector más entre muchos dentro de un promedio, no un contexto contaminado.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.