Автор «горького урока» Саттон: одним масштабированием LLM до интеллекта не дойти

Если вы строите продукт на больших языковых моделях, у вас наверняка есть неявная ставка: модели продолжат расти за счёт данных и вычислений, а ваш продукт будет расти вместе с ними. На этой неделе человек, чьё эссе обычно приводят как главный довод в пользу такой ставки, заявил, что всё не так просто.

Что сказал Саттон

Ричард Саттон, лауреат премии Тьюринга, в 2019 году написал «Горький урок». Его мысль: общие методы, которые масштабируются с вычислениями, в итоге побеждают хитрые решения, придуманные людьми. С тех пор это эссе стало почти священным текстом для сторонников масштабирования.

Теперь Саттон пишет, что одних вычислений недостаточно, а наука об ИИ «далека от завершения». Для него это не разворот, а продолжение прежней линии. Раньше он уже критиковал упор на масштабирование LLM и называл синтетические данные «большой ошибкой»: реальный мир бесконечно сложен, а любая симуляция остаётся «микроскопической». Ещё одно узкое место, по его мнению, — человеческая экспертиза, которая не даёт системе масштабироваться по-настоящему.

Его альтернатива — агенты с моделями мира, которые постоянно учатся на собственном опыте. Современные языковые модели после обучения ничего нового не усваивают, а интернет-текст описывает лишь малую часть реальности. Нужно непрерывное обучение, которое не стирает старые знания.

Что ответили коллеги

Джерри Теорек, ушедший из OpenAI исследовать новые подходы, считает, что «горький урок» остаётся в силе, но с оговоркой: чем больше вычислений вкладывается в обучение, тем сильнее влияет алгоритм. Одни алгоритмы масштабируются, другие упираются в тупик, а многие направления масштабирования вообще не исследованы. По его словам, временный успех трансформеров вместе с неверным прочтением Саттона «взломал награду» в головах целого поколения учёных.

Джейден Тео добавляет академический ракурс. Он не раз видел, как «горький урок» тормозит исследования: перспективные идеи отбрасывают, потому что они якобы не вписываются в его дух. Но это ошибка прочтения, а не вина Саттона. Идея не обязана выживать при масштабировании вечно, чтобы внести вклад в прогресс.

Другая сторона

Сэм Альтман считает, что потенциал масштабирования LLM далеко не исчерпан, и обвиняет критиков в том, что они тормозят целое поколение исследователей чрезмерной уверенностью в пределах метода. Как аргумент он приводит модель OpenAI, которая недавно опровергла математическую гипотезу, не поддававшуюся математикам. Модели мира он считает полезными, например в робототехнике, но данные, по его словам, пока говорят в пользу дальнейшего масштабирования LLM. Дарио Амодеи говорит похоже: прогресс масштабирования для него радуга без конца.

Однако стоит помнить: обе компании построили на этой ставке всю свою технику, так что объективными их назвать трудно.

Что это значит на практике

Спор уже превращается в деньги. По данным The Decoder, в последнем обзоре Frontier Radar отслежено 45 новых AI-лабораторий, которые ставят на альтернативные подходы. Теорек запустил Core Automation, ищущую алгоритмы обучения за пределами претрейна и RL. Саттон работает с Oak Lab. Объединяет этих основателей вера в гораздо более способный ИИ и сомнение, что нынешний рецепт один туда приведёт.

Что делать разработчику и продакту:

• Не закладывайте в roadmap допущение, что следующая модель решит ваши проблемы сама. Проектируйте продукт так, чтобы он выигрывал от улучшений, но не зависел от одного сценария.
• Следите за непрерывным обучением. Если оно заработает, придётся пересматривать подходы к памяти, дообучению и персонализации агентов.
• Отделяйте позицию от интереса. Заявления CEO Anthropic и OpenAI о масштабировании — это ещё и защита их бизнес-модели.

Это не доказательство, а спор мнений. Никто пока не показал, что масштабирование упёрлось в потолок, и никто не показал работающую замену. Но то, что критика звучит от автора главного аргумента в пользу масштабирования, — серьёзный сигнал: ставить всё на один рецепт рискованно.