ZDNet: BlueOptima mostró que la AI para código en producción está muy por debajo de lo prometido

La IA se vende frecuentemente como un botón de eficiencia instantánea, en lugar de como un proyecto de ingeniería complejo. ZDNet destaca la investigación de BlueOptima y las advertencias del analista David Linthicum: sin la preparación adecuada, medición y experiencia, la implementación puede entregar resultados muy diferentes de lo que se promete en las presentaciones.

Pruebas en Producción

El argumento principal contra la exageración de IA en el artículo es muy fundamentado: debes mirar no demos y benchmarks, sino trabajo real en producción. El estudio BlueOptima BARE ejecutó 57 grandes modelos de lenguaje a través de tareas de refactorización relacionadas con la mantenibilidad del código. La prueba utilizó 4.276 archivos reales en nueve idiomas—desde C y C++ hasta Python, PHP y TypeScript. En total, había 243.732 pares modelo-archivo. Con este material, incluso los mejores modelos de IA mostraron éxito en menos del 23% de los casos.

Aún más dolorosa es la brecha entre los números impresionantes del laboratorio y la aplicación del mundo real. En benchmarks populares, muchos modelos puntuaron por encima del 85%, pero en tareas donde la mantenibilidad del código de producción necesita mejoría, el resultado promedio fue alrededor del 17%. El éxito se midió estrictamente: el código tenía que compilarse, ejecutarse correctamente, no romper el comportamiento original y mejorar realmente la mantenibilidad, no solo verse más limpio. La diferencia entre lenguajes también es significativa: alrededor del 32% de éxito en JavaScript versus aproximadamente 4% en C, y en tareas arquitectónicas complejas, la tasa cayó al 1,5%.

De Dónde Viene la Exageración

Según ZDNet, el problema no es que la IA sea inútil. El problema es que se vende frecuentemente como una solución lista, escondiendo el volumen de trabajo detrás de escenas. Para que un modelo realmente aporte valor, necesitas integraciones, datos limpios, proceso de revisión, control de regresión, seguridad, observabilidad y personas que entiendan las limitaciones de la herramienta. Sin esto, una empresa obtiene no aceleración sino un experimento caro que parece convincente solo en diapositivas para la administración.

Si la tecnología suena demasiado buena para ser verdad, probablemente lo sea.

David Linthicum añade otra capa al problema: el mercado recompensa no a los más competentes sino a los más confiados. La IA se ha convertido en una etiqueta conveniente para cualquier cosa "inteligente" y "moderna", por lo que una capa de consultores, evangelistas y gerentes que han aprendido el vocabulario pero no entienden cómo todo funciona en un contexto comercial está creciendo rápidamente alrededor del tema. Como resultado, las decisiones de inversión y estrategia pueden basarse en experiencia superficial. Linthicum advierte que tales sistemas a veces cuestan 10–20 veces más que las alternativas tradicionales, y los errores en la dirección estratégica se transforman fácilmente en gastos innecesarios y errores estratégicos.

Cómo Resistir

Resistir a la exageración no significa rechazar la IA. Significa dejar de comprar la promesa de "magia" y empezar a gestionar la tecnología como un sistema complejo ordinario. La evaluación debe comenzar desde una tarea específica, no desde una etiqueta de moda. Si el objetivo se puede resolver mediante automatización ordinaria, reglas o mejora de procesos, ese también es un resultado válido. La IA tiene sentido donde sus ventajas se pueden medir en escenarios reales, no adivinadas de una presentación de proveedor.

• Primero, define la tarea comercial y métrica de base antes de la implementación.
• Prueba modelos en tus propios datos, código y flujos de trabajo, no en demos de proveedor.
• Calcula el costo total: licencias, infraestructura, revisión, seguridad y soporte.
• Asigna responsabilidad a personas que entiendan tanto las fortalezas de la IA como sus límites.

Este enfoque modera las expectativas. No descarta casos útiles—la IA puede acelerar trabajo de borrador, ayudar en búsqueda, sugerir opciones de refactorización y ahorrar tiempo de equipo. Pero donde la arquitectura compleja, cambios críticos o soluciones autónomas sin revisión humana están involucradas, el costo del error sigue siendo demasiado alto. Es por eso que los equipos maduros miran no la fuerza de las promesas sino resultados reproducibles y no confunden una sugerencia afortunada con un producto maduro.

Lo Que Esto Significa

Actualmente, la IA decepciona más frecuentemente no porque le falte potencial, sino porque el mercado la vende más rápido de lo que las empresas pueden entender los límites reales de la tecnología. Los que medirán el impacto en producción, filtrarán el ruido y comprarán no exageración sino experiencia sólida triunfarán.