Поток 3 · Старт 23.11Живой Поток 3 интенсива «Вайбкодинг и ИИ-агенты» (23 ноября, 18:30 МСК): 3 недели практики, 9 живых встречПоток 3 (23.11) →
РазборНаучная статья · В песочницуOpenAI Blog→ оригинал

OpenAI раскрыла ошибку угадывания слов у своих моделей: с 0,99 у GPT-3.5 до ниже 0,8

Чем лучше модель угадывает следующее слово в тексте, тем она «умнее»: это и есть перплексия, и чем ниже число, тем лучше. Главный учёный OpenAI Якуб Пачоцки предлагает сравнивать так все лаборатории. Логарифм перплексии у GPT-3.5 около 0,99, у GPT-4 около 0,91, у нынешних моделей ниже 0,8 — с этого уровня появились сильные навыки в кибербезопасности и математике. Поэтому за базовым обучением стоит следить не меньше, чем за бенчмарками.

AI-обработка оригинала OpenAI Blog; редакция Hamidun News
OpenAI раскрыла ошибку угадывания слов у своих моделей: с 0,99 у GPT-3.5 до ниже 0,8
Источник: OpenAI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникOpenAI Blog ↗
Главный редактор
Ключевой факт #1Замеры сделаны на внутреннем коде OpenAI, сравнивать с другими сложно
Ключевой факт #2Модель с показателем около 0,76 начала решать открытые задачи математики
Ключевой факт #3Лимиты на разработку снимут, когда появится новый способ мониторинга ИИ

Представьте автодополнение в телефоне: оно тем полезнее, чем чаще угадывает, какое слово вы напишете дальше. Современные большие модели в основе устроены так же, только учатся на огромных массивах текста и кода. Главный учёный OpenAI Якуб Пачоцки опубликовал эссе, где предлагает мерить прогресс ИИ именно качеством такого угадывания. Метрика называется перплексия, и OpenAI впервые показала свои внутренние цифры по ней, призвав другие лаборатории сделать то же самое.

Что такое перплексия на простом примере

Допустим, модель видит начало строки кода def add(a, b): return a и должна предсказать продолжение. Если она почти всегда ставит + b, ошибка предсказания низкая. Если гадает наугад, высокая. Перплексия усредняет такую ошибку по огромному набору текстов, которых модель не видела при обучении. На практике OpenAI смотрит на логарифм перплексии, он же кросс-энтропия. Это не проценты точности: чем число ниже, тем лучше модель предсказывает.

Пачоцки называет обученную модель «компрессором». Чтобы хорошо предсказывать новые данные, надо уловить их закономерности. При этом это не архив вроде GZIP: модель не обязана помнить сам корпус. Всё остальное — промпты, дообучение, обучение с подкреплением — лишь вытаскивает скрытые способности из этого фундамента. Какие именно способности там окажутся, заранее неясно.

Цифры OpenAI на основном проверочном наборе:

  • GPT-3.5, около 0,99: связный диалог, основа первого ChatGPT;
  • GPT-4, около 0,91: полезные цепочки рассуждений, из которых выросли reasoning-модели;
  • ниже 0,8: заметные навыки в кибербезопасности и математике;
  • около 0,76: модель начала выдавать прорывные результаты по открытым задачам математики.

Пачоцки вспоминает, как решения давно знакомых ему вопросов появлялись одно за другим в одной ветке Slack, и называет это «сюрреалистичным». Он подчёркивает: заранее никто не знал, что навыки появятся именно на этих порогах. Ещё раньше GPT-2 научилась писать связные абзацы, а GPT-3 — учиться по нескольким примерам прямо в запросе.

Зачем лимиты и что будет дальше

Следующим окном автор называет примерно 0,68–0,70. Он честно пишет, что не знает, какие способности там возникнут и проверяем ли мы их вообще. Кроме того, он ожидает, что привычные аудиты выравнивания (alignment) будут работать хуже, а модели будут лучше распознавать, что их тестируют.

Поэтому OpenAI предлагает отраслевой стандарт. Лаборатории заранее договариваются о первом лимите по перплексии и другим замерам и обязуются его не переходить, пока не достигнут конкретного рубежа в понимании и мониторинге поведения ИИ. Пример такого рубежа — преемник мониторинга цепочек рассуждений (CoT-мониторов). Затем по тому же принципу можно задать следующие лимиты. Ещё нужны общие нормы оценки и red-team проверок безопасности к моменту первого запуска модели.

Есть и прогноз по темпам. Пачоцки считает, что ИИ может резко ускорить алгоритмические исследования предобучения, и уже в 2027 году возможна «лавина» фундаментальных находок, как это случилось в математике. Прогресс в alignment и мониторинге, по его оценке, вряд ли успеет за таким ускорением. На графике виден резкий излом в 2026 году. OpenAI объясняет его в основном долгосрочными исследованиями и вложениями в вычисления, а автоматизацией лишь отчасти. Но в дизайне последних моделей уже есть вклад ИИ.

Ограничения метрики

Пачоцки сам перечисляет минусы:

  • лаборатории используют разные проверочные наборы и смеси данных, поэтому прямое сравнение пока невозможно;
  • OpenAI считает перплексию на выборке из своего внутреннего кода, а для GPT-2 и GPT-3 такой замер плохо отражает общие способности;
  • перплексия не соответствует конкретной прикладной задаче, а рассуждения по цепочке мыслей её не снижают, хотя резко усиливают модель;
  • неизвестен нижний предел самих данных: ноля достичь нельзя, и по мере приближения к полу прогресс на шкале замедлится, хотя каждая малая доля будет означать больший скачок интеллекта.

Что это значит на практике

Для разработчиков и продактов вывод такой: бенчмарки быстро насыщаются, и большинство старых тестов «закрыли» примерно на уровне GPT-4. Показатель предобучения остаётся более устойчивым ориентиром, и OpenAI предлагает сделать его общим языком отрасли. Когда лаборатория объявляет новую базовую модель, имеет смысл спрашивать не только про оценки на бенчмарках, но и про ошибку предсказания на открытом наборе данных.

Станет ли метрика стандартом, зависит от конкурентов. Публикация внутренних цифр даёт им ясную картину позиций OpenAI, и компания сознательно пошла на этот риск ради общих стандартов безопасности.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое перплексия на простом примере?

Допустим, модель видит начало строки кода def add(a, b): return a и должна предсказать продолжение. Если она почти всегда ставит + b, ошибка предсказания низкая. Если гадает наугад, высокая. Перплексия усредняет такую ошибку по огромному набору текстов, которых модель не видела при обучении. На практике OpenAI смотрит на логарифм перплексии, он же кросс-энтропия. Это не проценты точности: чем число ниже, тем лучше модель предсказывает. Пачоцки называет обученную модель «компрессором».

Что известно по теме: зачем лимиты и что будет дальше?

Следующим окном автор называет примерно 0,68–0,70. Он честно пишет, что не знает, какие способности там возникнут и проверяем ли мы их вообще. Кроме того, он ожидает, что привычные аудиты выравнивания (alignment) будут работать хуже, а модели будут лучше распознавать, что их тестируют. Поэтому OpenAI предлагает отраслевой стандарт.

Что известно по теме: ограничения метрики?

Пачоцки сам перечисляет минусы: лаборатории используют разные проверочные наборы и смеси данных, поэтому прямое сравнение пока невозможно; OpenAI считает перплексию на выборке из своего внутреннего кода, а для GPT-2 и GPT-3 такой замер плохо отражает общие способности; перплексия не соответствует конкретной прикладной задаче, а рассуждения по цепочке мыслей её не снижают, хотя резко усиливают модель; неизвестен нижний предел самих данных: ноля достичь нельзя, и по мере приближения к полу…

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…