OpenAI раскрыла ошибку угадывания слов у своих моделей: с 0,99 у GPT-3.5 до ниже 0,8
Чем лучше модель угадывает следующее слово в тексте, тем она «умнее»: это и есть перплексия, и чем ниже число, тем лучше. Главный учёный OpenAI Якуб Пачоцки предлагает сравнивать так все лаборатории. Логарифм перплексии у GPT-3.5 около 0,99, у GPT-4 около 0,91, у нынешних моделей ниже 0,8 — с этого уровня появились сильные навыки в кибербезопасности и математике. Поэтому за базовым обучением стоит следить не меньше, чем за бенчмарками.
AI-обработка оригинала OpenAI Blog; редакция Hamidun News
Представьте автодополнение в телефоне: оно тем полезнее, чем чаще угадывает, какое слово вы напишете дальше. Современные большие модели в основе устроены так же, только учатся на огромных массивах текста и кода. Главный учёный OpenAI Якуб Пачоцки опубликовал эссе, где предлагает мерить прогресс ИИ именно качеством такого угадывания. Метрика называется перплексия, и OpenAI впервые показала свои внутренние цифры по ней, призвав другие лаборатории сделать то же самое.
Что такое перплексия на простом примере
Допустим, модель видит начало строки кода def add(a, b): return a и должна предсказать продолжение. Если она почти всегда ставит + b, ошибка предсказания низкая. Если гадает наугад, высокая. Перплексия усредняет такую ошибку по огромному набору текстов, которых модель не видела при обучении. На практике OpenAI смотрит на логарифм перплексии, он же кросс-энтропия. Это не проценты точности: чем число ниже, тем лучше модель предсказывает.
Пачоцки называет обученную модель «компрессором». Чтобы хорошо предсказывать новые данные, надо уловить их закономерности. При этом это не архив вроде GZIP: модель не обязана помнить сам корпус. Всё остальное — промпты, дообучение, обучение с подкреплением — лишь вытаскивает скрытые способности из этого фундамента. Какие именно способности там окажутся, заранее неясно.
Цифры OpenAI на основном проверочном наборе:
- GPT-3.5, около 0,99: связный диалог, основа первого ChatGPT;
- GPT-4, около 0,91: полезные цепочки рассуждений, из которых выросли reasoning-модели;
- ниже 0,8: заметные навыки в кибербезопасности и математике;
- около 0,76: модель начала выдавать прорывные результаты по открытым задачам математики.
Пачоцки вспоминает, как решения давно знакомых ему вопросов появлялись одно за другим в одной ветке Slack, и называет это «сюрреалистичным». Он подчёркивает: заранее никто не знал, что навыки появятся именно на этих порогах. Ещё раньше GPT-2 научилась писать связные абзацы, а GPT-3 — учиться по нескольким примерам прямо в запросе.
Зачем лимиты и что будет дальше
Следующим окном автор называет примерно 0,68–0,70. Он честно пишет, что не знает, какие способности там возникнут и проверяем ли мы их вообще. Кроме того, он ожидает, что привычные аудиты выравнивания (alignment) будут работать хуже, а модели будут лучше распознавать, что их тестируют.
Поэтому OpenAI предлагает отраслевой стандарт. Лаборатории заранее договариваются о первом лимите по перплексии и другим замерам и обязуются его не переходить, пока не достигнут конкретного рубежа в понимании и мониторинге поведения ИИ. Пример такого рубежа — преемник мониторинга цепочек рассуждений (CoT-мониторов). Затем по тому же принципу можно задать следующие лимиты. Ещё нужны общие нормы оценки и red-team проверок безопасности к моменту первого запуска модели.
Есть и прогноз по темпам. Пачоцки считает, что ИИ может резко ускорить алгоритмические исследования предобучения, и уже в 2027 году возможна «лавина» фундаментальных находок, как это случилось в математике. Прогресс в alignment и мониторинге, по его оценке, вряд ли успеет за таким ускорением. На графике виден резкий излом в 2026 году. OpenAI объясняет его в основном долгосрочными исследованиями и вложениями в вычисления, а автоматизацией лишь отчасти. Но в дизайне последних моделей уже есть вклад ИИ.
Ограничения метрики
Пачоцки сам перечисляет минусы:
- лаборатории используют разные проверочные наборы и смеси данных, поэтому прямое сравнение пока невозможно;
- OpenAI считает перплексию на выборке из своего внутреннего кода, а для GPT-2 и GPT-3 такой замер плохо отражает общие способности;
- перплексия не соответствует конкретной прикладной задаче, а рассуждения по цепочке мыслей её не снижают, хотя резко усиливают модель;
- неизвестен нижний предел самих данных: ноля достичь нельзя, и по мере приближения к полу прогресс на шкале замедлится, хотя каждая малая доля будет означать больший скачок интеллекта.
Что это значит на практике
Для разработчиков и продактов вывод такой: бенчмарки быстро насыщаются, и большинство старых тестов «закрыли» примерно на уровне GPT-4. Показатель предобучения остаётся более устойчивым ориентиром, и OpenAI предлагает сделать его общим языком отрасли. Когда лаборатория объявляет новую базовую модель, имеет смысл спрашивать не только про оценки на бенчмарках, но и про ошибку предсказания на открытом наборе данных.
Станет ли метрика стандартом, зависит от конкурентов. Публикация внутренних цифр даёт им ясную картину позиций OpenAI, и компания сознательно пошла на этот риск ради общих стандартов безопасности.
- 22 нояб. 2026 г.Ahrefs: бренд с 10-кратным числом упоминаний в вебе получает в ИИ лишь в 3,7 раза больше
- 22 нояб. 2026 г.Axiom Math с ИИ записала гигантское доказательство в 43,1 млн строк кода Lean за 24 дня
- 22 нояб. 2026 г.Грант Яндекса ушёл на движок для LLM: 35B-модель на RTX 2080 Ti втрое быстрее llama.cpp
- 22 нояб. 2026 г.Новая модель OpenAI Astra пишет на 40% короче, но рейтинг оговорок упал с 96 до 24
Вопросы и ответы по материалу
Что известно по теме: что такое перплексия на простом примере?
Допустим, модель видит начало строки кода def add(a, b): return a и должна предсказать продолжение. Если она почти всегда ставит + b, ошибка предсказания низкая. Если гадает наугад, высокая. Перплексия усредняет такую ошибку по огромному набору текстов, которых модель не видела при обучении. На практике OpenAI смотрит на логарифм перплексии, он же кросс-энтропия. Это не проценты точности: чем число ниже, тем лучше модель предсказывает. Пачоцки называет обученную модель «компрессором».
Что известно по теме: зачем лимиты и что будет дальше?
Следующим окном автор называет примерно 0,68–0,70. Он честно пишет, что не знает, какие способности там возникнут и проверяем ли мы их вообще. Кроме того, он ожидает, что привычные аудиты выравнивания (alignment) будут работать хуже, а модели будут лучше распознавать, что их тестируют. Поэтому OpenAI предлагает отраслевой стандарт.
Что известно по теме: ограничения метрики?
Пачоцки сам перечисляет минусы: лаборатории используют разные проверочные наборы и смеси данных, поэтому прямое сравнение пока невозможно; OpenAI считает перплексию на выборке из своего внутреннего кода, а для GPT-2 и GPT-3 такой замер плохо отражает общие способности; перплексия не соответствует конкретной прикладной задаче, а рассуждения по цепочке мыслей её не снижают, хотя резко усиливают модель; неизвестен нижний предел самих данных: ноля достичь нельзя, и по мере приближения к полу…
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.