Не ИИ обесценил сеньоров: почему найм не отличает новичка с LLM от эксперта

Спор о том, нужны ли сеньоры в эпоху нейросетей, обычно строится на красивых цифрах. В исследовании 5 172 сотрудников поддержки ИИ-ассистент поднял производительность в среднем на 15%, причём сильнее всего у менее опытных. В эксперименте с 453 специалистами, писавшими профессиональные тексты, время сократилось на 40%, а качество выросло на 18%. Вывод напрашивается: модель уравняла новичка и эксперта. Но что, если это свойство не модели, а нашего способа их сравнивать?

Что такое экспертиза на самом деле

С точки зрения когнитивной психологии эксперт отличается от новичка не объёмом рабочей памяти, а содержимым долговременной памяти. Он уже много раз видел похожие задачи и хранит готовые схемы решения. Это проявляется тремя способами. Во-первых, эксперт узнаёт осмысленные конфигурации: шахматист с одного взгляда запоминает позицию из реальной партии, и тот же эффект нашли у программистов. Во-вторых, он классифицирует задачи по глубинной структуре, а не по внешним признакам: физики группировали задачи по нужному закону, студенты по тому, что нарисовано в условии. В-третьих, он сразу видит первый шаг решения.

Отсюда ключевая мысль: LLM заменяет исполнение, а экспертиза — это распознавание. Именно оно нужно, чтобы проверить ответ модели и заметить, что задача вышла за границы её возможностей. В эксперименте с 758 консультантами выигрыш был внутри этой границы, а за её пределами доля верных решений падала на 19%.

Почему найм не видит разницы

Пройдите по типичной воронке. Вакансию часто пишет человек, не знающий предметной области, и описывает роль через стек, годы и модные слова. ATS сопоставляет ключевые слова с ключевыми словами: поверхность с поверхностью. Скрининг проводит неэксперт, которого убеждает гладкий рассказ. Исследования неструктурированных интервью показывают: люди уверенно оценивают даже случайные ответы, а прогноз от интервью только ухудшается. STAR без шкал измеряет умение рассказывать. Алгоритмические задачи и live coding типовые, то есть лежат в пределах возможностей модели, и с LLM на собеседовании новичок будет не хуже сеньора.

В итоге ни один этап не проверяет распознавание, проверку и работу за пределами возможностей модели. Найм смотрит только туда, где новичок с LLM и эксперт действительно равны.

Цена ошибки и что менять

Последствий два. Первое — прямые ошибки: новичок на роли, требующей проверки, ошибается за границей возможностей модели и не замечает этого. Второе — сломанный конвейер. Эксперты вырастают из новичков, а новичок, нанятый оператором модели, свои схемы не строит. Это «ирония автоматизации» Лизанны Бейнбридж 1983 года, перенесённая на LLM.

Адаптации с устойчивой доказательной базой:

• Анализ работы вместо ключевых слов: эксперт составляет 5–10 типичных задач роли и отмечает, какие из них делает LLM, какие делает LLM с проверкой человека, а какие лежат за пределами модели.
• Структурированное интервью со шкалами: одинаковые вопросы, описанные уровни ответов, меньше влияния впечатления. Валидность STAR со шкалами в метаанализе достигала 0,63.
• Рабочие пробы на реальных задачах. Но домашнюю пробу легко сделать с LLM, и тогда она перестаёт различать новичка и эксперта.

Адаптации, обоснованные теорией, но не проверенные в найме: короткие пробы «первого шага» (лог, diff, схема архитектуры с вопросом «что делаете первым?»), задания «найди ошибку в правдоподобном решении от модели», выбор кандидатом своей сильной области и live coding без наблюдателя с последующим обсуждением.

Ограничения и практический вывод

Есть честная оговорка: если роль почти целиком состоит из типовых задач в пределах возможностей модели, обесценивание опыта реально, и найм тут ни при чём. Кроме того, пробы на распознавание и проверку ответа LLM пока не валидированы, а все эти методы требуют времени экспертов.

Для компаний вывод простой: экономия на опыте сегодня превращается в нехватку проверяющих завтра. Для разработчиков и продактов: ценность растёт там, где вы умеете распознать и проверить результат, а не там, где быстрее всех получаете ответ. Если вы нанимаете, начните с перечня задач роли и добавьте в процесс хотя бы одну пробу, где кандидат должен найти ошибку в ответе модели.