Cómo 15 IA afrontan la búsqueda del mejor parser XML para iOS: resultados del benchmark

Un desarrollador realizó un experimento poco habitual: introdujo la misma tarea en 15 modelos de IA populares y comparó sus resultados con su benchmark manual de parsers XML para iOS.

En qué consistía la tarea

Hace seis meses, el autor publicó los resultados de su propia búsqueda del parser XML más rápido para iOS, tvOS y macOS. Fue un trabajo minucioso: varias horas analizando repositorios de GitHub a mano, comprobando la popularidad (al menos 500 estrellas), la compatibilidad con Objective-C y Swift y la integración mediante CocoaPods o SwiftPM. Tras tres horas de trabajo intenso (y varias tazas de café) surgió un ranking completo de los parsers óptimos.

¿Puede la IA hacerlo más rápido?

Luego llegó una idea natural: ¿para qué invertir 3 horas si en internet prometen que la IA lo resuelve en 5 minutos? Además, existía una posibilidad real de que se hubiera colado un error en el benchmark manual, como una interpretación incorrecta del código o un detalle pasado por alto en las características. Y, en ese caso, las IA, con sus enormes volúmenes de conocimiento, quizá encontrarían un resultado más acertado.

La decisión fue natural: dar la misma tarea a 15 modelos de IA distintos (OpenAI, Anthropic, Google, Meta*, Xai, Perplexity y otros), reunir sus resultados y compararlos con honestidad entre sí y con el benchmark original. Un experimento justo.

Los resultados decepcionaron

Los resultados estuvieron lejos de lo esperado. Contra todo pronóstico, GPT 5.5 Pro no solo no lo hizo mejor que los demás, sino que quedó en último lugar. Fue un golpe desde el principio: el buque insignia de OpenAI perdió en todas las categorías de análisis, en la identificación de repositorios populares y en la evaluación del rendimiento de los parsers.

Claude Opus 4.7, conocido por su análisis profundo y su capacidad para mantener el contexto, tampoco logró el primer puesto, aunque sus resultados estuvieron por encima de la media. En cambio, modelos más especializados y compactos quedaron inesperadamente por delante, al orientarse mejor en los detalles prácticos de la tarea.

El autor reconoce con honestidad que quizá su benchmark manual sí contenía un error y que, en ese caso, no eligió el parser del todo óptimo. Pero, incluso así, el resultado muestra un patrón interesante: el tamaño y la calidad autoproclamada de un modelo de IA no siempre garantizan el éxito en una tarea práctica concreta.

Qué significa

El experimento recuerda a los desarrolladores que las IA son herramientas con sus propios puntos fuertes y débiles. Para tareas técnicas específicas conviene comprobar no solo la popularidad de un modelo, sino también su rendimiento real en tu caso concreto. Y sí, a veces lo que promete resolverlo en 5 minutos puede requerir tu atención y validación.

*Meta está reconocida como organización extremista y prohibida en Rusia.