Não foi a IA que desvalorizou os seniores: por que a contratação não distingue um novato com LLM de um especialista

O debate sobre se os seniores são necessários na era das redes neurais costuma se apoiar em números atraentes. Em um estudo com 5.172 funcionários de suporte, um assistente de IA elevou a produtividade em 15% em média, e mais ainda entre os menos experientes. Em um experimento com 453 profissionais que escreviam textos profissionais, o tempo caiu 40% e a qualidade subiu 18%. A conclusão se impõe: o modelo igualou o novato e o especialista. Mas e se isso não for uma propriedade do modelo, e sim da nossa forma de compará-los?

O que é realmente a expertise

Do ponto de vista da psicologia cognitiva, o especialista se distingue do novato não pela capacidade da memória de trabalho, mas pelo conteúdo da memória de longo prazo. Ele já viu muitas vezes tarefas semelhantes e guarda esquemas de solução prontos. Isso se manifesta de três maneiras. Primeiro, o especialista reconhece configurações significativas: um enxadrista memoriza num relance uma posição de uma partida real, e o mesmo efeito foi encontrado em programadores. Segundo, ele classifica os problemas pela estrutura profunda, e não por características externas: físicos agrupavam problemas pela lei necessária, e estudantes, pelo que estava desenhado no enunciado. Terceiro, ele enxerga imediatamente o primeiro passo da solução.

Daí a ideia central: o LLM substitui a execução, enquanto a expertise é reconhecimento. É exatamente ele que é necessário para verificar a resposta do modelo e perceber que a tarefa ultrapassou os limites de suas capacidades. Em um experimento com 758 consultores, o ganho estava dentro dessa fronteira, e fora dela a proporção de soluções corretas caía 19%.

Por que a contratação não vê a diferença

Percorra um funil típico. A vaga costuma ser escrita por alguém que não conhece a área e descreve o cargo por meio de stack, anos e palavras da moda. O ATS compara palavras-chave com palavras-chave: superfície com superfície. A triagem é feita por um não especialista, convencido por uma narrativa fluida. Pesquisas sobre entrevistas não estruturadas mostram que as pessoas avaliam com confiança até respostas aleatórias, e a previsão baseada na entrevista só piora. O STAR sem escalas mede a capacidade de contar histórias. Problemas algorítmicos e live coding são típicos, ou seja, estão dentro das capacidades do modelo, e com um LLM na entrevista o novato não ficará atrás do sênior.

Como resultado, nenhuma etapa verifica o reconhecimento, a checagem e o trabalho além das capacidades do modelo. A contratação olha apenas para onde um novato com LLM e um especialista realmente são iguais.

O custo do erro e o que mudar

Há duas consequências. A primeira são os erros diretos: um novato em um cargo que exige verificação erra além da fronteira do modelo e não percebe. A segunda é a esteira quebrada. Especialistas surgem de novatos, e um novato contratado como operador de modelo não constrói seus próprios esquemas. É a «ironia da automação» de Lisanne Bainbridge, de 1983, transposta para os LLMs.

Adaptações com base de evidências sólida:

• Análise do trabalho em vez de palavras-chave: um especialista elabora de 5 a 10 tarefas típicas do cargo e marca quais o LLM faz, quais o LLM faz com verificação humana e quais ficam além do modelo.
• Entrevista estruturada com escalas: mesmas perguntas, níveis de resposta descritos, menos influência da impressão. A validade do STAR com escalas chegou a 0,63 em uma meta-análise.
• Provas de trabalho em tarefas reais. Mas uma prova para fazer em casa é fácil de fazer com um LLM, e então ela deixa de distinguir o novato do especialista.

Adaptações fundamentadas na teoria, mas não testadas na contratação: provas curtas de «primeiro passo» (um log, um diff, um diagrama de arquitetura com a pergunta «o que você faz primeiro?»), tarefas de «encontre o erro em uma solução plausível do modelo», a escolha pelo candidato de sua área forte e live coding sem observador seguido de discussão.

Limitações e conclusão prática

Há uma ressalva honesta: se um cargo consiste quase inteiramente em tarefas típicas dentro das capacidades do modelo, a desvalorização da experiência é real, e a contratação não tem nada a ver com isso. Além disso, as provas de reconhecimento e verificação da resposta de um LLM ainda não foram validadas, e todos esses métodos exigem tempo dos especialistas.

Para as empresas, a conclusão é simples: economizar em experiência hoje se transforma em falta de revisores amanhã. Para desenvolvedores e product managers: o valor cresce onde você sabe reconhecer e verificar um resultado, e não onde obtém a resposta mais rápido. Se você está contratando, comece pela lista de tarefas do cargo e adicione ao processo pelo menos uma prova em que o candidato precise encontrar um erro na resposta de um modelo.