Habr AI comparó Claude, Gemini y ChatGPT en texto, matemáticas, análisis y creatividad

Habr AI publicó una comparación de tres modelos insignia — ChatGPT-5.4, Claude Opus 4.6 y Gemini 3.1 Pro. En lugar de las pruebas habituales como "escribe una historia" o "resuelve un problema", el autor desplazó el enfoque hacia escenarios no estándar, donde las diferencias reales entre sistemas se hacen más evidentes.

Formato de prueba no estándar

La idea principal del material no es encontrar un ganador absoluto, sino verificar cómo se comportan los modelos fuera de las demostraciones más gastadas. Cuando se pide a los LLM que escriban texto corto, generen una plantilla de código o resuelvan un problema de nivel escolar, frecuentemente muestran desempeño similar. Pero en tareas más extrañas, limítrofes o simplemente menos estandarizadas, comienzan a emerger el estilo de pensamiento, la flexibilidad, la resiliencia ante la ambigüedad y la capacidad de mantener contexto sin indicaciones en cada paso.

Este enfoque importa porque los usuarios cada vez más aplican modelos no para un único comando aislado, sino como una herramienta intelectual para el trabajo. En la práctica real, necesitas no solo "responder correctamente", sino también entender requisitos ocultos, no quebrarte por la formulación, no perderte en charla innecesaria y no perder la lógica en medio del razonamiento. Por eso la comparación a través de tareas inusuales parece más útil que otro benchmark formal más.

Tres modelos insignia

La prueba presenta ChatGPT-5.4, Claude Opus 4.6 y Gemini 3.1 Pro — tres sistemas que típicamente se encuentran en la cúpula de las discusiones sobre calidad de generación. La composición de los participantes por sí misma muestra que no se trata de un experimento de nicho, sino de una comparación de insignias actuales, entre las cuales usuarios avanzados, editores, analistas y equipos que han integrado LLM en flujos de trabajo diarios más frecuentemente eligen.

También es importante que el autor no intente presentar el material como un veredicto de mercado definitivo. Más bien, es un intento de responder una pregunta más práctica: dónde exactamente las diferencias entre los mejores modelos se hacen notables. En tareas rutinarias, la brecha puede ser pequeña, pero en escenarios con ambigüedad, requisitos combinados y limitaciones creativas, cada modelo muestra su propio estilo. Para el lector, esto es más útil que una clasificación seca porque ayuda a asociar un modelo con un tipo específico de trabajo.

En qué se enfoca

Según la descripción del artículo, el enfoque se desplaza hacia cuatro grupos de tareas que están más cerca del uso real que de una presentación demostrativa. No se trata de verificar una única métrica, sino de intentar ver cómo un modelo cambia entre diferentes tipos de pensamiento: desde la edición cuidadosa y la lógica formal hasta cálculos y generación libre de ideas. Tal conjunto permite evaluar no una única habilidad estrecha, sino el comportamiento del sistema en diferentes modos — desde precisión hasta creatividad.

• Trabajo con texto y calidad de formulaciones
• Matemáticas y resiliencia ante errores de cálculo
• Tareas analíticas con múltiples condiciones
• Creatividad en requisitos atípicos y no completamente formalizados

La fortaleza de tal comparación es que muestra no solo el nivel de conocimiento de un modelo, sino también el carácter de su respuesta. Un sistema puede ser más cuidadoso en estructura, otro más audaz en ideas, un tercero más estable en lógica. Para un usuario, esto frecuentemente es más importante que un primer lugar abstracto, porque la elección de LLM depende no del hype general, sino de qué exactamente necesita hacerse: editar texto, verificar razonamientos, resolver problemas o encontrar rápidamente soluciones no convencionales.

Qué significa esto

Las comparaciones como esta están gradualmente cambiando la forma en que hablamos de los LLM. La pregunta ya no es "¿quién es más inteligente en general?", sino "¿qué modelo maneja mejor tu escenario real?". Para el mercado, esto es una señal de madurez: los insignia se vuelven lo suficientemente fuertes para ser evaluados no por el factor sorpresa, sino por los matices del desempeño.