Нейросимвольный ИИ: как заставить языковые модели наконец-то считать
Языковые модели до сих пор не умеют считать — и проблема не в размере модели или качестве обучения. Исследователь с Habr провёл серию экспериментов и пришёл к ф
Крупнейшие технологические компании мира вложили десятки миллиардов долларов в языковые модели, способные писать код, переводить тексты и генерировать связные рассуждения на любую тему. Но попросите любую из них разделить 7429 на 17 — и начнётся лотерея. Иногда ответ будет верным, иногда нет, а иногда модель выдаст уверенную галлюцинацию, которую невозможно отличить от правильного результата. Это не баг, который можно исправить патчем. Это фундаментальное ограничение архитектуры, и один из исследователей на платформе Habr не просто указал на проблему, а предложил работающее решение.
Прежде чем разбираться в решении, стоит понять, почему проблема вообще существует. Языковые модели на основе архитектуры Transformer обрабатывают информацию через непрерывные математические трансформации — матричные умножения, функции активации, механизм внимания. Всё это великолепно работает для задач, где важны паттерны, контекст и приблизительные оценки. Но арифметика — это дискретная операция. Два плюс два равно ровно четыре, не 3.97 и не 4.02. Когда нейросеть пытается имитировать точные вычисления через аппроксимацию, она неизбежно ошибается — особенно на числах, которые не встречались в обучающей выборке или выходят за пределы привычных диапазонов.
Индустрия пробовала обходные пути. Chain-of-Thought промптинг заставляет модель рассуждать пошагово, что улучшает результаты, но не устраняет корень проблемы — каждый шаг цепочки всё равно выполняется той же аппроксимирующей архитектурой. Fine-tuning на математических задачах помогает в узких сценариях, но не обобщается. Увеличение контекстного окна и масштаба модели даёт маргинальные улучшения ценой колоссальных вычислительных затрат. В итоге компании пришли к парадоксальному решению: подключать к мощнейшим нейросетям обычные калькуляторы через вызовы инструментов. Это работает, но выглядит как костыль, приделанный к космическому кораблю.
Исследователь пошёл другим путём, предложив нейросимвольную архитектуру — гибрид, в котором нейросетевые компоненты отвечают за то, в чём они действительно сильны, а символьные модули берут на себя задачи, требующие точности. Идея не нова в академическом смысле — нейросимвольный ИИ обсуждается в научных кругах уже несколько лет, и такие исследователи, как Йошуа Бенджио и Гари Маркус, давно указывали на необходимость объединения двух парадигм. Но от теоретических рассуждений до работающей реализации — огромная дистанция, и именно её автор попытался преодолеть.
Суть предложенной архитектуры — семантическая нейросеть, в которой модель не пытается вычислять напрямую, а распознаёт тип задачи и делегирует выполнение соответствующему символьному модулю. Нейросеть выступает как интерпретатор намерений и маршрутизатор, а точные операции выполняются детерминированными алгоритмами. Это принципиально отличается от подхода с внешними инструментами: вместо громоздкого API-вызова к калькулятору символьная логика встроена непосредственно в архитектуру модели, что позволяет ей работать быстрее и надёжнее.
Результаты экспериментов, описанные автором, подтверждают жизнеспособность подхода, хотя говорить о революции пока преждевременно. Ключевой вопрос — масштабируемость. Арифметика — это самый простой случай символьного рассуждения. Гораздо сложнее интегрировать символьные модули для логического вывода, планирования или верификации фактов. Если архитектура сможет расшириться на эти области, это действительно изменит ландшафт. Если нет — останется элегантным, но нишевым решением.
Для индустрии значение этой работы выходит за рамки конкретной реализации. Она подчёркивает тенденцию, которая набирает силу в последние месяцы: чистое масштабирование нейросетей упирается в потолок, и будущее за гибридными системами. OpenAI, Google и Anthropic уже экспериментируют с различными формами нейросимвольной интеграции, хотя и не всегда говорят об этом открыто. Тот факт, что независимый исследователь предлагает конкурентоспособные идеи с открытым кодом, говорит о зрелости сообщества и демократизации исследований в области ИИ.
В конечном счёте, работа ставит правильный вопрос: не стоит ли перестать заставлять нейросети делать то, для чего они не созданы, и вместо этого дать каждому компоненту системы заниматься тем, что он умеет лучше всего? Ответ, кажется, очевиден. Осталось только реализовать его в масштабе.