LLM научили видеть каждую букву, и слова задом наперёд им даются легче

Фраза «LMU München» состоит из 11 символов с пробелом. Языковая модель, на которой работает ChatGPT, получает её как три куска: «LM», «U» и «München». Отдельных букв слова «München» модель напрямую не видит. Эта особенность стоит за целым классом странных ошибок: подсчётом букв в слове, посимвольными правками, обратным написанием. По сообщению TechXplore, исследователи показали, что если модель доработать так, чтобы она видела каждую букву, развернуть слово задом наперёд ей становится легче.

Почему модель не видит буквы

Перед обработкой текста LLM дробит его на токены: слова целиком или их фрагменты. Этот шаг называется субсловной токенизацией. Он нужен для эффективности: последовательность получается короче, а значит, дешевле по вычислениям. Частые слова превращаются в один токен, редкие собираются из нескольких.

У такой экономии есть цена. Для модели токен «München» остаётся неделимым идентификатором. Чтобы развернуть это слово, ей нужно знать, из каких букв оно состоит, а напрямую этого она узнать не может. Знание об орфографии приходится восстанавливать косвенно, по обучающим текстам, где слова иногда разбирают по буквам. Получается ненадёжно. В итоге у моделей ограничено понимание на уровне символов, и это прямо названо в исходном материале.

Что значит «видеть каждую букву»

В доступном фрагменте публикации конструкция апгрейда не описана. Размеры моделей, точность и бенчмарки там тоже не приводятся, поэтому конкретных цифр улучшения здесь не будет. Общий принцип понятен из заголовка: модель получает доступ к отдельным символам, а не только к готовым кускам.

В индустрии для этого обычно используют символьные или байтовые модели либо добавляют символьный уровень поверх токенов. Но у этого подхода тоже есть цена: последовательности становятся длиннее. А стоимость внимания в трансформерах растёт быстрее, чем длина входа. Поэтому вопрос не в том, помогает ли символьный доступ. Он помогает. Вопрос в том, сколько вычислений за это придётся заплатить.

Коротко о том, что известно из материала:

• Пример разбиения: «LMU München» превращается в 3 токена («LM», «U», «München») при 11 символах.
• Механизм проблемы: субсловная токенизация скрывает от модели отдельные буквы.
• Тестовая задача: обратное написание слов.
• Результат: модели, которые видят каждую букву, справляются с ней легче.
• Не раскрыто в доступном тексте: архитектура, размеры моделей, численные метрики.

Что делать разработчикам

Пока такие модели не стали стандартом, символьные операции в продуктах лучше не отдавать LLM на веру. Проверка кодов и номеров, анаграммы, транслитерация, посимвольное сравнение, исправление опечаток в именах: всё это надёжнее делать обычным кодом. Модель в таких сценариях стоит вызывать как оркестратор, который передаёт задачу инструменту, а не как исполнителя.

Особенно осторожными нужно быть с языками, где слова богаты морфологией. Немецкий и русский токенизаторы обычно дробят сильнее, чем английский, и символьные ошибки там проявляются чаще. Если вы выбираете модель для такой работы, проверьте её на собственных данных: разверните десяток своих реальных строк и посмотрите, что получится.

Самому исследованию стоит дождаться полного текста с цифрами. Направление выглядит разумным, но главный вопрос остаётся открытым: хватит ли выигрыша в символьной точности, чтобы оправдать рост вычислительной стоимости.