Cohere Labs проверила ИИ загадками: 100+ авторов из 50 стран нашли культурные дыры

Cohere Labs провела открытый научный проект, который показал слабое место языковых моделей: они бегло говорят, но плохо знают культуру, на которой говорят люди. Больше 100 участников из более чем 50 стран сочиняли и оценивали загадки, завязанные на локальные реалии, а затем смотрели, как с ними справляются модели, обученные в основном на английских данных. Ответы выглядели убедительно, но часто были неверными. На бугийском языке, на котором говорят миллионы людей, модели не показали практически никаких знаний.

Как венгерские загадки превратились в глобальный бенчмарк

Начал всё венгерский дипломат Карой Бочка, который интересовался исследованиями ИИ. Он придумал сложные загадки в духе викторины на венгерском и проверил, замечают ли модели культурные подсказки. Результат его удивил: ответы звучали как правильные, но не совпадали с реальностью. Моделям не хватало конкретных фактов, а местами они откровенно галлюцинировали.

Свои наблюдения Бочка рассказал Юлии Кройцер, Staff Research Scientist в Cohere Labs, на обсуждении культуры в ИИ внутри открытого научного сообщества лаборатории. Кройцер увидела в этом способ измерить разрыв между беглостью модели и реальным культурным знанием. Вдвоем они масштабировали проект: призыв в соцсетях и в существующих исследовательских сообществах Cohere Labs, никаких критериев отбора. Достаточно было принадлежать к какой-то культуре и быть готовым писать и оценивать загадки.

Участники собрались в Discord и своими силами строили бенчмарки по темам вроде спорта, истории и политики. Каждый вопрос оформлялся как загадка. Формат выбран не случайно: загадка держится на двусмысленности, но у неё есть конкретное решение, поэтому она одновременно проверяет интерпретацию и знание фактов.

Школьник и учительница в роли исследователей

Самые яркие участники проекта по формальным признакам не похожи на исследователей. 16-летний американец Генри Гагнье пришёл в команду и вызвался возглавить одно из направлений, хотя сам признаётся, что поначалу робел. По его словам, для такого бенчмарка нужны не навыки в ИИ, а реальное знание культуры. Проект дал ему представление о том, чем занимаются исследователи, и теперь он делает собственные проекты, чтобы углубиться в тему.

Канадская учительница на пенсии Джейн Смит применила при оценке ответов привычный педагогический приём: разбирать, где именно ход мысли свернул не туда и что привело к неверному ответу. Для загадок она использовала образы вроде тигров и крабов, чтобы сделать логику игровой.

Что зафиксировала команда:

• более 100 участников из 50+ стран, вход без экспертных требований;
• сообщество и бенчмарки организованы в Discord;
• темы вопросов: спорт, история, политика и другие культурные сегменты;
• модели с английским перекосом в обучении дают правдоподобные, но ошибочные ответы на локальные загадки;
• на бугийском языке модели показали практически нулевые знания, а значит, и нулевое знание связанной с ним культуры.

Уверенный тон вместо «не знаю»

Гагнье удивило, что проблема шире нехватки культурных знаний: модели не знали язык как таковой. Смит заметила другое: модели крайне редко отвечали «не знаю». Вместо этого они выдавали авторитетные формулировки, из-за которых легко поверить, что система разбирается в предмете. По её словам, пугает именно это, ведь люди ищут авторитетные ответы. Её вывод: не ИИ опасен сам по себе, опасно отсутствие критического мышления у тех, кто им пользуется.

Для индустрии это знакомая, но плохо решённая проблема калибровки: модель должна понимать границы своих знаний и сообщать о них. В Cohere Labs говорят, что работают над лучшим пониманием контекста и изучают уверенность современных моделей. Об этом же рассказывает и соседний материал блога про пересмотр подходов к уверенности в reasoning-моделях, вышедший 20 октября.

Что проверить перед запуском ИИ на локальном рынке

Если вы выводите продукт на рынок с неанглийским языком или региональной спецификой, не полагайтесь на общие бенчмарки. Соберите небольшой тестовый набор с вопросами от носителей: местные организации, законы, спортивные события, идиомы. Отдельно считайте долю ответов, где модель честно признаёт незнание, а не только долю верных. Для малоресурсных языков закладывайте ручную проверку и ограничения на автономные решения. Проект Cohere Labs показывает, что такие наборы можно собирать силами сообщества, а лучшими авторами проверок становятся люди, которые просто знают, как это устроено у них дома.