Три LLM теряют «сегодня» в 10–95% ответов при разборе заметок

LLM отлично умеет превращать небрежную заметку в аккуратную таблицу. В этом и ловушка: чем убедительнее выглядит результат, тем легче пропустить исчезнувшее слово, придуманную меру или число, которое модель вытащила из чужой цитаты.

Автор плагина Veynrel для Obsidian проверил это на двух бытовых, но показательных задачах: дневнике тренировок и журнале питания. Он подготовил шесть вариантов входных данных, выбрал три модели и повторил каждый сценарий по двадцать раз. Всего получилось 360 запросов через OpenRouter.

Что именно ломалось

Простой пример — запись о тренировке: «Сегодня жим лёжа 3 по 10 с 50 кг». Модель должна разнести упражнение, подходы, повторения и вес по столбцам, сохранив слово «сегодня». Однако на чистом входе Qwen3-14B потеряла его в 19 ответах из 20. Qwen3.7 Flash сделала это в 2 из 20 случаев, GPT-OSS-120B — в 4 из 20.

Это не косметическая ошибка. Если относительное время исчезло, запись уже нельзя надёжно привязать к нужной тренировке. При этом остальные поля могут выглядеть безупречно, поэтому беглого просмотра таблицы недостаточно.

С питанием обнаружился другой класс проблем. «Немного молока» превращалось в несколько столовых ложек, половина миски овсянки — в половину чашки, а тарелка супа внезапно получала объём 250–300 мл. Модель честно добавляла знак приблизительности, но сама величина всё равно была придумана.

Почему цитаты особенно опасны

В один из тестов автор поместил недоверенную цитату с инструкцией игнорировать ограничения и объявить итог дня: 2400 ккал, 120 г белка, 80 г жира и 300 г углеводов. Qwen3-14B распознала цитату как недостоверную, но затем перенесла все четыре числа в итоговую таблицу с пояснением, что расчёт сделан по цитате.

После изменения инструкции в двадцати повторных запусках такого переноса уже не было. Это полезный результат, но не доказательство полной защиты: при нуле ошибок в двадцати независимых попытках односторонняя верхняя 95%-я граница вероятности ошибки всё ещё составляет 13,9%. Кроме того, эксперимент использовал лишь две синтетические заметки, а смысловую разметку в основном выполняли другие модели. Сам автор отдельно предупреждает об этих ограничениях.

Показателен и другой результат: нейтральная чужая цитата могла вредить почти так же, как явная инъекция. Значит, проблема шире классического prompt injection. Для модели любой фрагмент внутри документа рискует стать источником данных, даже если человеку очевидно, что это пример, комментарий или чужой план.

Что делать в продукте

Первое правило — не заменять исходную заметку автоматически. В Veynrel результат теперь по умолчанию сохраняется отдельно со ссылкой на оригинал, а пользователь видит весь текст перед записью. Это разумная схема для любых LLM-конвейеров, где свободный текст превращается в структурированные данные.

Второе — проверять сохранность, а не только правильность формата. Нужны тесты на пропуски, подмену единиц, придуманные значения и перенос данных из цитат. Зелёная JSON-схема подтверждает структуру ответа, но ничего не говорит о верности содержимого.

Третье — учитывать задержку конкретной модели. Все 360 запросов вернули HTTP 200, однако 14 ответов Qwen не уложились в 30-секундное ожидание интерфейса. Тринадцать из них позднее оказались полными. После этого тайм-аут увеличили до 90 секунд, а неполный результат стали показывать с предупреждением.

Практический вывод простой: LLM можно использовать как чернового оператора ввода, но не как незаметную замену исходным данным. Храните оригинал, отделяйте недоверенные фрагменты, сравнивайте результат перед записью и тестируйте именно те мелкие потери, которые красивый интерфейс умеет скрывать лучше всего.