The Verge→ оригинал

OpenAI и научные журналы: AI-статьи стали лучше и перегружают рецензирование

AI-статьи стали опаснее для науки не потому, что они идеальны, а потому что выглядят достаточно убедительно для долгой ручной проверки. Редакторы журналов жалую

OpenAI и научные журналы: AI-статьи стали лучше и перегружают рецензирование
Источник: The Verge. Коллаж: Hamidun News.
◐ Слушать статью

Научные журналы столкнулись с новой проблемой: AI начал штамповать не откровенно нелепые, а вполне правдоподобные статьи. Из-за этого редакторы и рецензенты тратят всё больше времени на отсев работ, которые выглядят убедительно, но почти не добавляют нового знания.

Как заметили всплеск

Про проблему громко заговорили после странной истории с работой исследователя Питера Дегена. Его статья 2017 года по статистическому анализу эпидемиологических данных годами собирала обычное для академии число ссылок, а потом внезапно начала получать их буквально каждые несколько дней. Проверка показала, что её массово цитируют новые работы на основе открытого массива Global Burden of Disease.

Формально это были исследования про риск инсульта, рака, падений у пожилых и десятков других тем, но по сути — бесконечные вариации одного и того же шаблона. Деген нашёл следы этой фабрики на GitHub и китайской платформе Bilibili, где компания из Гуанчжоу рекламировала уроки по созданию публикуемых научных статей меньше чем за два часа с помощью собственного софта и AI-ассистентов. Такие тексты часто содержали ошибки и натяжки, но уже не выглядели настолько абсурдно, как ранний AI-мусор.

Отсеивать их стало намного сложнее, а нагрузка на журналы — выше.

Это огромная нагрузка на peer review, который и так работает на пределе.

Почему фильтры буксуют

Раньше у поддельных или автоматически собранных статей были заметные маркеры: выдуманные ссылки, странные иллюстрации, фразы вроде ответа чат-бота, случайно попавшие в финальный текст. Издатели и так вели войну с paper mills — полулегальными фабриками статей, которые продают авторам публикации ради строк в резюме. Генеративный AI сначала помогал таким схемам обходить антиплагиат, но при этом сам же выдавал себя галлюцинациями.

Сейчас эта страховка почти исчезла: рукописи стали связными, аккуратно структурированными и стилистически ровными. Это особенно чувствуют редакторы журналов. Управляющий редактор Security Dialogue Марит Моэ-Прайс рассказала, что число поступающих рукописей выросло примерно на 100 процентов год к году, и главная проблема в том, что почти все они на первый взгляд выглядят нормальными.

В одном случае статья прошла как минимум через десять редакторов и два раунда рецензирования, прежде чем удалось заметить правдоподобную, но выдуманную ссылку. Теперь мало просто проверить, существует ли цитируемая работа; нужно ещё понимать, выбрал бы её реальный эксперт.

Где система ломается

Риск усиливают не только шаблонные генераторы, но и более автономные научные агенты. Исследователи Carnegie Mellon показали, что такие инструменты могут придумывать данные или использовать сомнительные методы, хотя финальная статья при этом выглядит отполированной. Матт Спик из University of Surrey проверил инструмент Prism на уже опубликованных данных о созревании баклажанов и перцев. Система предложила новый статистический подход и за 25 минут 50 секунд собрала полноценную статью с графиками и корректными ссылками — достаточно хорошую, чтобы опытные учёные всерьёз удивились.

  • Журналы фиксируют рост входящего потока на 40–100 процентов.
  • Чтобы найти двух рецензентов, редакторам всё чаще приходится писать 12–20 людям.
  • Грантодатели уже получают лавину аккуратно подогнанных заявок.
  • Конференции, редакции и рецензенты тратят всё больше часов на ручную проверку сомнительно полезных работ. Проблема упирается не только в качество моделей, но и в устройство самой науки. Open access-журналы зарабатывают на обработке рукописей, университеты и фонды по-прежнему смотрят на число публикаций, а исследователи живут в логике publish or perish. На этом фоне AI становится машиной для наращивания метрик. По данным исследования этого года, опубликованного в Nature, учёные, использующие AI, выпускают в три раза больше статей и получают почти в пять раз больше цитирований. Но вместе с ростом продуктивности сужается и фокус: система толкает авторов в уже хорошо размеченные темы, где проще синтезировать ещё один публикуемый результат.

Что это значит

Главная угроза сейчас не в том, что AI полностью подменит учёных, а в том, что он уже подрывает человеческие фильтры, на которых держится академия. Если научная ценность и дальше будет измеряться в первую очередь количеством статей и ссылок, модели только ускорят производство работ, которые занимают чужое время, но не двигают знание вперёд. Значит, науке придётся менять и способы проверки подлинности, и сами правила академического успеха.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Что вы думаете?
Загружаем комментарии…