Flag Soft: benchmark "Dali Trial" ayudó a seleccionar LLMs por calidad, velocidad y costo

La elección de una LLM para un producto real rara vez se reduce a comparar demos bonitos. El autor abordó la tarea de forma práctica: mientras buscaba un modelo para su primer proyecto personal, armó su propio benchmark llamado "La Prueba Dalí" y puso a prueba LLMs populares no por sus promesas grandilocuentes, sino por tres cosas que realmente importan para la implementación: calidad de las respuestas, velocidad y coste. La idea surgió de un problema de ingeniería bastante cotidiano.

Cuando necesitas elegir un modelo para tu propio proyecto, la pregunta abstracta "¿cuál es la mejor LLM?" se convierte rápidamente en un conjunto de limitaciones prácticas. Un modelo escribe de forma convincente pero responde demasiado lentamente.

Otro se ajusta al presupuesto pero pierde el hilo en instrucciones largas. Un tercero pasa consistentemente las pruebas, pero el coste final lo hace inadecuado para un producto de masas. Fue precisamente en este punto cuando surgió la prueba casera, que resultó ser útil no solo para un experimento personal, sino también para las soluciones de productos de Flag Soft.

"La Prueba Dalí" se basa en una lógica simple pero sólida. Si un modelo está diseñado para integrarse en un producto, debe compararse no por una única impresión de un chat, sino por el mismo conjunto de tareas. Calidad en este enfoque significa no solo "me gusta la respuesta o no", sino la capacidad del modelo de preservar el significado, seguir instrucciones, no perder detalles y entregar un resultado que pueda usarse sin larga edición manual.

La velocidad es igual de importante: para una herramienta interna se puede tolerar algunos segundos extra, pero en un servicio orientado al usuario, cada retraso afecta la retención y conversión. El coste es el tercer parámetro obligatorio, porque incluso un modelo potente puede resultar demasiado caro al escalar a miles de solicitudes. Este es el valor del benchmark: no busca un campeón absoluto, sino muestra el equilibrio.

En la práctica, casi nunca gana el modelo que simplemente escribe mejor. Gana el que ofrece calidad aceptable en el tiempo correcto y a un precio compatible con la economía unitaria del producto. Para una empresa que quiera integrar una LLM en un servicio real, esto es mucho más útil que tablas impresionantes con puntuaciones abstractas.

Este método de evaluación ayuda a ver de antemano dónde aparecerá el cuello de botella: en la demora de respuesta, en el presupuesto de tokens o en el comportamiento inestable del modelo en consultas similares. Particularmente interesante es la conclusión práctica del autor: el benchmark ayudó a seleccionar no "el modelo más inteligente" en general, sino la LLM óptima para integración en los productos de Flag Soft. Esta es una distinción importante.

Los equipos a menudo comienzan la implementación con un modelo de primer nivel, luego se ven obligados a revertir a una alternativa más barata o más rápida. Aquí la lógica es inversa: primero se formulan requisitos reales, luego se selecciona un modelo para satisfacerlos. Este orden reduce el riesgo de retrabajos costosos, cuando la arquitectura ya está vinculada a un proveedor que no cumple con la economía, velocidad de respuesta o nivel de servicio esperado.

El enfoque del autor es útil también porque refleja el estado real del mercado de LLM. Para diferentes escenarios, pueden ganar diferentes modelos: generación de texto, resumen, búsqueda de conocimiento, asistencia de operador, autocompletado en la interfaz o procesamiento de solicitudes de clientes. El mismo candidato puede desempeñarse excelentemente en tareas creativas y fracasar donde se necesita disciplina estricta en el seguimiento de instrucciones.

Por eso los benchmarks personalizados se convierten no en un lujo sino en higiene básica para cualquier equipo que planee pagar por un modelo de su propio presupuesto y sea responsable de la experiencia del usuario. El punto principal de "La Prueba Dalí" es simple: las LLMs deben elegirse de la misma manera que cualquier tecnología de infraestructura: mediante métricas verificables, no mediante hype. Si un equipo tiene su propio conjunto de tareas, un límite de tiempo de respuesta y un presupuesto claro, casi con seguridad obtendrá una respuesta más precisa que de una tabla general de clasificación.

Para el mercado, esta es otra señal: la era de elegir un modelo "por reputación" está terminando, y el pragmatismo de ingeniería toma el centro del escenario.