Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РазборНаучная статья · В песочницуX: @moreisdifferent→ оригинал

Исследователь проверяет 7,1 млн научных статей на дубли картинок и ошибки в данных

Журналы не успевают сверять каждую картинку и таблицу, поэтому один снимок геля может пройти как результат разных экспериментов. Исследователь из Metascience Observatory скачал 42,9 млн изображений из 7,1 млн статей Europe PMC и ищет среди них повторы. Ещё в 500 тысячах файлов с данными он нашёл более 200 статей с аномалиями, в том числе в Nature. Скрипты ищут кандидатов, а ИИ лишь фильтрует: так надёжнее, чем просить модель найти все ошибки.

AI-обработка оригинала X: @moreisdifferent; редакция Hamidun News
Исследователь проверяет 7,1 млн научных статей на дубли картинок и ошибки в данных
Источник: X: @moreisdifferent. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @moreisdifferent ↗
Главный редактор
Ключевой факт #1Тестовый прогон по нескольким тысячам статей дал 40 проблем с картинками
Ключевой факт #2Открытый Forensic Metascience AI Toolkit работает с Claude Code и Codex
XML/JATS проще PDFиз него ИИ легче читать таблицы

Научные журналы держатся на рецензентах, которые физически не успевают сверять каждую картинку и каждую таблицу. Из-за этого один и тот же снимок геля или микроскопии может появиться в двух статьях как результат разных экспериментов, а в таблице с данными могут оказаться скопированные строки. Исследователь, который ведёт аккаунт @moreisdifferent и некоммерческую Metascience Observatory, получил финансирование через Lightcone Commons и взялся проверять такие вещи массово. Цифры масштаба такие: он скачал 42,9 млн изображений из 7,1 млн статей, собранных в базе Europe PMC (это открытый архив биомедицинских публикаций), и отдельно разбирает около 500 тысяч файлов с данными, приложенных к статьям. Главное в подходе: он не просит нейросеть «найти все ошибки в статье».

Что именно проверяют

Проекта два направления. Первое — картинки. Автор написал инструмент, который ищет неправомерное повторное использование изображений и внутри одной статьи, и между разными работами. На тестовых прогонах по нескольким тысячам статей уже нашлись 40 случаев, их он выложил на PubPeer — сайт, где учёные публично обсуждают статьи после выхода.

Второе направление — файлы с данными: таблицы и сырые измерения. Специальные инструменты ищут в них аномалии и искусственно продублированные значения. В исходном посте говорится о 100+ найденных проблемах, а в тексте проекта — о более чем 200 статьях с проблемами в данных. Числа, видимо, относятся к разным моментам проверки и продолжают уточняться. Многие из этих работ вышли в крупных журналах: Nature, Nature Communications, Scientific Reports, Science Advances. Автор сейчас вручную просматривает находки.

Почему не «просто спросить у модели»

Автор утверждает, что ИИ по умолчанию плохо замечает тонкие проблемы: повторяющиеся фрагменты картинок, подозрительно похожие числовые ряды, ошибки в расчётах. Поэтому поиск кандидатов делают обычные скрипты, а модель подключается потом: отсеивает ложные срабатывания и сортирует находки по важности. Для разработчика это понятная схема. Представьте, что вы проверяете логи или финансовые отчёты: детерминированный код вылавливает подозрительные места, а LLM решает, какие из них стоит показать человеку.

Из этого вырос открытый Forensic Metascience AI Toolkit — модульная система, в которой можно собирать разные сценарии проверки статей. Модуль «tools agent» даёт ИИ-агенту набор инструментов для проверки данных и расчётов. Многие методы взяты из книги Джеймса Хизерса «An Introduction to Forensic Metascience». Работать всё это может поверх подписок Claude Code, Codex, Grok Build и Antigravity. Автор считает проект более дешёвой и, как он надеется, более качественной альтернативой платным сервисам для проверки статей. Чтобы это подтвердить, он готовит эталонные наборы с заранее известными ошибками и хочет сравнить, какие инструменты находят какие типы проблем.

Есть и полезная инженерная деталь. Автор сделал Python-пакет для легальной загрузки статей. Часто удаётся получить XML/JATS (машиночитаемый формат статьи), даже когда PDF недоступен, а таблицы из XML ИИ читать проще, чем из PDF. Флаг --fetch-everything собирает всё, что связано со статьёй: XML, PDF, код, приложения и связанные датасеты. Ссылки на такие материалы пакет находит через разные API и один вызов LLM, который просматривает текст статьи.

Как действуют по находкам и что с ограничениями

Часть находок автор публикует на PubPeer. По более серьёзным случаям он пишет авторам и редакторам журналов, причём до публичного анонса, чтобы им было куда ответить. Он подчёркивает, что ни один отчёт не должен читаться как обвинение в умысле: дублирование данных бывает и случайным.

Ограничения очевидны. Каждую находку должен подтверждать человек, эталонные наборы для оценки ещё только готовятся, а поток результатов уже растёт быстрее, чем один человек успевает его просматривать. Поэтому автор ищет волонтёров для проверки находок через специальное веб-приложение с заготовками писем, программистов для открытой части проекта и коллег с похожими задачами, чтобы разделить работу.

Практический вывод для тех, кто строит агентов: если задача требует точности, один большой промпт — плохая ставка. Надёжнее собрать набор узких инструментов, которые находят кандидатов, а модели оставить роль фильтра и ранжировщика. Тот же принцип подходит для аудита отчётов, логов и клинических данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно проверяют?

Проекта два направления. Первое — картинки. Автор написал инструмент, который ищет неправомерное повторное использование изображений и внутри одной статьи, и между разными работами. На тестовых прогонах по нескольким тысячам статей уже нашлись 40 случаев, их он выложил на PubPeer — сайт, где учёные публично обсуждают статьи после выхода. Второе направление — файлы с данными: таблицы и сырые измерения. Специальные инструменты ищут в них аномалии и искусственно продублированные значения.

Что известно по теме: почему не «просто спросить у модели»?

Автор утверждает, что ИИ по умолчанию плохо замечает тонкие проблемы: повторяющиеся фрагменты картинок, подозрительно похожие числовые ряды, ошибки в расчётах. Поэтому поиск кандидатов делают обычные скрипты, а модель подключается потом: отсеивает ложные срабатывания и сортирует находки по важности. Для разработчика это понятная схема. Представьте, что вы проверяете логи или финансовые отчёты: детерминированный код вылавливает подозрительные места, а LLM решает, какие из них стоит показать человеку.

Что известно по теме: как действуют по находкам и что с ограничениями?

Часть находок автор публикует на PubPeer. По более серьёзным случаям он пишет авторам и редакторам журналов, причём до публичного анонса, чтобы им было куда ответить. Он подчёркивает, что ни один отчёт не должен читаться как обвинение в умысле: дублирование данных бывает и случайным. Ограничения очевидны. Каждую находку должен подтверждать человек, эталонные наборы для оценки ещё только готовятся, а поток результатов уже растёт быстрее, чем один человек успевает его просматривать.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…