Cómo una sola instrucción de sistema convierte a un LLM en una herramienta fiable: pruebas con Qwen y DeepSeek

Los grandes modelos de lenguaje mienten con elegancia. No por maldad: están entrenados para continuar texto, no para decir la verdad. Donde al modelo le faltan datos, genera algo verosímil y lo presenta con la seguridad de un experto. En tareas aplicadas, como asistentes corporativos, herramientas analíticas o sistemas de apoyo a la toma de decisiones, ese comportamiento es inadmisible. Un error dicho con seguridad es peor que un error con una salvedad.

La metáfora del exoesqueleto

El autor de un artículo en Habr propuso una metáfora sencilla pero eficaz: un LLM necesita un exoesqueleto. No más entrenamiento, ni una ronda de RLHF, ni un costoso fine-tuning, sino una única instrucción de sistema que fija reglas estrictas de comportamiento ante la incertidumbre. Las pruebas se hicieron con dos de los modelos abiertos más populares y con buen soporte del ruso: Qwen (la serie de Alibaba) y DeepSeek. Ambos se usan mucho en productos rusos precisamente por su disponibilidad y calidad.

La esencia del enfoque: reglas de comportamiento

La esencia del "exoesqueleto" es impedir que el modelo sea demasiado seguro de sí mismo donde no está seguro. La instrucción de sistema prescribe varias reglas clave. Primera: reconocer la incertidumbre de forma explícita.

No callarla, sino decir directamente "no lo sé" o "no tengo datos suficientes". Segunda: pedir aclaraciones si la consulta es ambigua, en lugar de elegir una interpretación y responder a esa. Tercera: separar con claridad los hechos de los que el modelo está seguro de aquellos que solo supone.

Cuarta: negarse a responder en áreas donde el riesgo de error es alto y no se puede verificar la información desde dentro del modelo. En la práctica esto suena trivial. En la práctica, funciona.

Tras añadir la instrucción, Qwen y DeepSeek empezaron a reconocer los límites de su conocimiento con mucha más frecuencia: en los escenarios de prueba con contexto deliberadamente insuficiente o contradictorio, los modelos dejaron de "rellenar huecos" y pasaron a pedir aclaraciones o a señalar explícitamente la incertidumbre. El nivel de alucinaciones seguras en esos escenarios bajó de forma notable.

Por qué no es obvio

¿Por qué no es obvio? Porque, por defecto, un LLM está entrenado para dar una respuesta completa y segura, y por eso recibía buenas puntuaciones en RLHF. Un evaluador humano prefiere por instinto un texto extenso y seguro a un breve "no lo sé".

El modelo asimiló esa preferencia. El resultado es un comportamiento incorporado que es justo lo contrario de lo que se necesita en producción real, donde el coste del error se mide en reputación o en dinero. Una instrucción de sistema es una forma de sobrescribir ese comportamiento sin cambiar los pesos del modelo.

En esencia, se impone al modelo una humildad epistémica desde fuera. De ahí la metáfora del exoesqueleto: el modelo no cambia por dentro, pero a su alrededor surge una estructura rígida de comportamiento que orienta sus reacciones en la dirección adecuada.

La instrucción debe ser concreta

Un matiz importante: la instrucción debe ser concreta, no declarativa. "Sé preciso y honesto" no funciona, porque el modelo ya se considera preciso y honesto. Funcionan las situaciones concretas: si la consulta no tiene contexto suficiente, haz una pregunta aclaratoria; si no estás seguro de un dato, indícalo explícitamente y explica por qué; si la pregunta excede tus datos, dilo directamente. Cada regla describe un desencadenante concreto y una acción concreta como respuesta.

¿Reduce la utilidad?

Los desarrolladores suelen temer que las restricciones reduzcan la utilidad del modelo. En las pruebas no se observó. En escenarios con contexto suficiente, los modelos rindieron igual de bien que sin la instrucción.

La restricción solo se activaba donde de verdad faltaban datos, justo en los casos en que antes el modelo alucinaba. Para los equipos que construyen herramientas internas sobre LLM, como bases de conocimiento corporativas, asistentes analíticos o sistemas de gestión documental, es un resultado aplicable ya mismo. No hace falta esperar a la próxima versión del modelo, reservar presupuesto para fine-tuning ni cambiar la arquitectura.

Basta con escribir bien el prompt de sistema, y el modelo empieza a comportarse como necesita el negocio, no como lo entrenaron para gustar a evaluadores aleatorios.

En resumen:

• Una sola instrucción de sistema (el "exoesqueleto") fija reglas de comportamiento del LLM ante la incertidumbre, sin reentrenamiento ni fine-tuning.
• Pruebas con Qwen y DeepSeek: los modelos reconocieron más a menudo los límites de su conocimiento y produjeron menos alucinaciones seguras.
• La instrucción debe ser concreta (desencadenante → acción); en escenarios con contexto suficiente, la utilidad no disminuyó.