Anthropic и OpenAI добиваются права влиять на публикации внешних аудиторов

Reuters сообщил 13 октября со ссылкой на двух осведомлённых людей: Anthropic и OpenAI добиваются существенного влияния на то, что внешние рецензенты их моделей могут публиковать. Мотив, по словам источников, один на обе компании: опасение, что выводы проверок раскроют коммерческие секреты. Есть и неудобная деталь. Обе лаборатории совсем недавно обещали независимым оценщикам свободу рук.

Что известно на данный момент

Фактов в сообщении немного, и они сформулированы осторожно. Переговоры, о которых рассказали источники Reuters, касаются условий, на которых сторонние группы получают доступ к моделям и публикуют результаты. Лаборатории хотят иметь право голоса при публикации. Насколько оно широкое, в доступной части материала не уточняется. Не названы ни конкретные оценщики, ни формат ограничений: согласование текста, право на правки, отсрочка или прямое вето.

Оригинальный материал TNW обрывается на упоминании того, что в прошлом месяце глава Anthropic Дарио Амодеи сделал какое-то заявление. Из доступного фрагмента не следует, что именно он сказал, поэтому пересказывать это я не буду.

Где возникает конфликт

Внешняя оценка модели имеет смысл только тогда, когда её автор не контролирует итоговый текст. Если лаборатория может смягчить формулировки или задержать публикацию, отчёт превращается в согласованный пресс-релиз с чужим логотипом.

Страх лабораторий при этом не выдуман. Чтобы проверить модель всерьёз, оценщику нужно глубокое взаимодействие с ней: нестандартные режимы доступа, ранние версии, подробности о поведении системы. Из отчёта можно вывести многое о методах обучения, архитектурных решениях и слабых местах. Для компаний, конкурирующих за корпоративных клиентов и оценку в сотни миллиардов долларов, это чувствительная информация.

У индустрии есть готовая модель компромисса. В информационной безопасности давно действует координированное раскрытие уязвимостей: вендору дают фиксированное окно на исправление (у Google Project Zero это 90 дней), после чего исследователь публикует результат независимо от согласия вендора. Лаборатории могут претендовать на проверку фактических ошибок и вычитку на предмет утечки реальных секретов. Право вето на выводы — совсем другая история.

Что зафиксировано в сообщении

• Источник: Reuters, два осведомлённых собеседника, оба анонимные.
• Участники: Anthropic и OpenAI.
• Предмет спора: объём контроля над публикациями внешних рецензентов.
• Официальный довод лабораторий: защита коммерческих тайн.
• Противоречие: недавние публичные обещания дать оценщикам свободу действий.
• Неизвестно: условия договоров, имена оценщиков, механизм согласования.

Как читать такие обещания на практике

Для тех, кто закупает модели, пишет регуляторные требования или освещает индустрию, вывод один: слова «независимая оценка» ничего не значат без условий публикации. Стоит смотреть на несколько вещей.

Первое: что именно согласуется до выхода отчёта — фактология и секреты или формулировки выводов. Второе: есть ли жёсткий срок, после которого оценщик публикует результат без согласия. Третье: обязан ли отчёт сообщать, что часть материала скрыта, и по какой причине. Четвёртое: кто платит оценщику. Финансирование со стороны оцениваемой компании само по себе не порок, но вместе с контролем над текстом оно создаёт конфликт интересов.

Пока обе лаборатории публично не раскрыли условия, отчёты внешних проверок разумно воспринимать с поправкой на возможное редактирование. Если Reuters прав, ближайший практический тест выглядит просто: появятся ли у оценщиков публичные заявления о том, на каких условиях они работали, и совпадут ли эти условия с тем, что компании обещали раньше.