No fue la IA la que devaluó a los seniors: por qué la contratación no distingue a un novato con LLM de un experto

El debate sobre si hacen falta seniors en la era de las redes neuronales suele apoyarse en cifras llamativas. En un estudio con 5.172 empleados de soporte, un asistente de IA elevó la productividad un 15% de media, y más aún en los menos experimentados. En un experimento con 453 profesionales que redactaban textos profesionales, el tiempo se redujo un 40% y la calidad aumentó un 18%. La conclusión se impone: el modelo ha igualado al novato y al experto. Pero ¿y si esto no es una propiedad del modelo, sino de nuestra forma de compararlos?

Qué es realmente la experiencia

Desde la psicología cognitiva, un experto se distingue de un novato no por la capacidad de la memoria de trabajo, sino por el contenido de la memoria a largo plazo. Ha visto muchas veces tareas similares y almacena esquemas de solución ya hechos. Esto se manifiesta de tres maneras. Primero, el experto reconoce configuraciones con sentido: un ajedrecista memoriza de un vistazo una posición de una partida real, y el mismo efecto se ha encontrado en programadores. Segundo, clasifica los problemas por su estructura profunda, no por rasgos externos: los físicos agrupaban los problemas según la ley necesaria; los estudiantes, según lo dibujado en el enunciado. Tercero, ve de inmediato el primer paso de la solución.

De ahí la idea clave: el LLM sustituye la ejecución, mientras que la experiencia es reconocimiento. Es justo lo que hace falta para verificar la respuesta del modelo y notar que la tarea ha rebasado los límites de sus capacidades. En un experimento con 758 consultores, la ganancia estaba dentro de esa frontera, y fuera de ella la proporción de soluciones correctas caía un 19%.

Por qué la contratación no ve la diferencia

Recorra un embudo típico. La oferta suele redactarla alguien que no conoce el área y describe el puesto mediante tecnologías, años y palabras de moda. El ATS compara palabras clave con palabras clave: superficie con superficie. El filtrado lo hace un no experto al que convence un relato fluido. Las investigaciones sobre entrevistas no estructuradas muestran que las personas evalúan con seguridad incluso respuestas aleatorias, y la predicción basada en la entrevista solo empeora. STAR sin escalas mide la capacidad de narrar. Los problemas algorítmicos y el live coding son típicos, es decir, están dentro de las capacidades del modelo, y con un LLM en la entrevista un novato no lo hará peor que un senior.

En consecuencia, ninguna etapa comprueba el reconocimiento, la verificación ni el trabajo más allá de las capacidades del modelo. La contratación mira solo donde un novato con LLM y un experto son realmente iguales.

El coste del error y qué cambiar

Hay dos consecuencias. La primera son los errores directos: un novato en un puesto que exige verificación se equivoca más allá de la frontera del modelo y no lo advierte. La segunda es una cadena rota. Los expertos surgen de los novatos, y un novato contratado como operador de modelos no construye sus propios esquemas. Es la «ironía de la automatización» de Lisanne Bainbridge, de 1983, trasladada a los LLM.

Adaptaciones con una base de evidencia sólida:

• Análisis del puesto en lugar de palabras clave: un experto redacta de 5 a 10 tareas típicas del puesto y marca cuáles hace el LLM, cuáles las hace el LLM con verificación humana y cuáles quedan fuera del alcance del modelo.
• Entrevista estructurada con escalas: mismas preguntas, niveles de respuesta descritos, menos influencia de la impresión. La validez de STAR con escalas llegó a 0,63 en un metaanálisis.
• Pruebas de trabajo con tareas reales. Pero una prueba para casa es fácil de hacer con un LLM, y entonces deja de distinguir al novato del experto.

Adaptaciones respaldadas por la teoría pero no comprobadas en la contratación: pruebas cortas de «primer paso» (un log, un diff, un esquema de arquitectura con la pregunta «¿qué haría primero?»), tareas de «encuentra el error en una solución verosímil del modelo», que el candidato elija su área fuerte y live coding sin observador seguido de una discusión.

Limitaciones y conclusión práctica

Hay una salvedad honesta: si un puesto consiste casi por completo en tareas típicas dentro de las capacidades del modelo, la devaluación de la experiencia es real y la contratación no tiene nada que ver. Además, las pruebas de reconocimiento y verificación de la respuesta de un LLM aún no están validadas, y todos estos métodos requieren tiempo de los expertos.

Para las empresas la conclusión es simple: ahorrar en experiencia hoy se convierte mañana en falta de revisores. Para desarrolladores y product managers: el valor crece donde se sabe reconocer y verificar un resultado, no donde se obtiene la respuesta más rápido. Si va a contratar, empiece por la lista de tareas del puesto y añada al proceso al menos una prueba en la que el candidato deba encontrar un error en la respuesta de un modelo.