El mismo benchmark de LLM dio un 28% y un 76%: la única diferencia fue la forma de plantear las preguntas

Un desarrollador que evaluaba LLM en ruso con documentos corporativos obtuvo, en el mismo benchmark y con el mismo modelo, resultados de entre el 28% y el 76%. La diferencia se explica exclusivamente por la forma en que se planteaban las preguntas.

Cómo funciona el benchmark

El autor construyó un benchmark para modelos de lenguaje en ruso a partir de tipos reales de documentos corporativos: políticas, órdenes internas, facturas y aprobaciones. La tarea de los modelos consistía en encontrar el documento correcto entre otros similares, citar una línea concreta de él y no «romperse» cuando en uno de los documentos se cambiaba una sola fecha.

• Rango de resultados del mismo modelo en el mismo benchmark: del 28% al 76%
• Tipo de datos: documentos corporativos (políticas, órdenes internas, facturas, aprobaciones)
• Habilidades evaluadas: localizar el documento correcto entre otros similares, citar con precisión la línea, robustez ante el cambio de un único detalle (una fecha)
• Causa de la dispersión: no el modelo en sí, sino cómo se organizan las consultas que se le hacen

De dónde sale una diferencia de 48 puntos porcentuales

La conclusión clave del experimento es que el resultado final dependió en gran medida de cómo se organizaron las consultas al modelo, y no de qué modelo se utilizó. Dicho de otro modo, el mismo modelo puede suspender el benchmark o superarlo con un resultado casi tres veces mejor simplemente cambiando la forma en que se le presentan la pregunta y el contexto de los documentos.

Por qué importa para el uso corporativo de los LLM

Cada vez más empresas construyen sobre LLM sistemas internos de búsqueda y gestión documental, lo que la industria llama RAG (retrieval-augmented generation). Aprobaciones, órdenes internas y facturas rara vez se almacenan en un formato cómodo para el modelo, y en la práctica este tiene que elegir el documento correcto entre muchos parecidos y luego citar la línea exacta. Eso es precisamente lo que evaluaba el benchmark del autor.

Si la diferencia de resultados, que se multiplica varias veces, se explica por el formato de la consulta y no por la elección del modelo, para los equipos que integran LLM en sus procesos internos invertir en una buena organización de las consultas y del contexto puede tener más impacto que pasar a un modelo más grande o más caro. Esto se nota especialmente en la robustez ante cambios «menores»: cuando en uno de los documentos se cambia una sola fecha y el modelo sigue citando la versión antigua o pierde el documento correcto entre otros similares. Son precisamente este tipo de fallos los que más minan la confianza en los sistemas basados en LLM dentro de las empresas, aunque de media el modelo responda bastante bien.

Qué significa

El benchmark con documentos corporativos reales demuestra que comparar modelos directamente sin fijar la forma de plantear las preguntas es metodológicamente poco fiable. Y para la implantación práctica de LLM en la gestión documental, lo importante no es perseguir un modelo más potente, sino pulir la manera en que se le formulan las preguntas.

Preguntas frecuentes

¿Qué evaluaba exactamente el benchmark?

Se evaluó la capacidad de los modelos para encontrar el documento correcto entre documentos parecidos entre sí (políticas, órdenes internas, facturas y aprobaciones), citar una línea concreta y no perder precisión cuando en uno de los documentos se cambiaba una sola fecha.

¿Por qué el mismo benchmark dio resultados tan distintos?

Porque el resultado resultó ser sensible no al modelo en sí, sino a cómo se organizaron las consultas. El autor del experimento vincula directamente la dispersión del 28% al 76% con la forma de plantear las preguntas, y no con un cambio de modelo.