ИИ прочитал почти 4000 медстатей: код открыт лишь в 1 из 8 работ
Ссылка «код доступен» в медицинской статье ещё не значит, что его можно запустить. Команда MIT и Dana-Farber с помощью LLM прочитала почти 4000 работ о моделях, оценивающих риск болезни, и нашла открытый код лишь примерно в каждой восьмой. Затем исследователи проверили сотни репозиториев: в одних есть подробная инструкция, в других почти ничего. Практический вывод: README, список зависимостей и лицензия нужны не меньше самого кода.
AI-обработка оригинала MIT News; редакция Hamidun News
Любой, кто пытался запустить код из научной статьи, знает это чувство: ссылка на GitHub есть, а работать ничего не хочет. Нет списка зависимостей, непонятно, какие данные подавать на вход, лицензии тоже нет. Международная команда под руководством MIT и Dana-Farber Cancer Institute измерила масштаб этой проблемы в медицине. С помощью больших языковых моделей (LLM) она прочитала почти 4000 статей о клинических моделях прогноза, то есть алгоритмах, которые оценивают, например, риск развития болезни у пациента. Оказалось, что о публикации кода сообщает лишь около 1 из 8 работ, то есть примерно 12%. Для разработчика это значит простую вещь: «код опубликован» и «код можно запустить и проверить» — разные вещи, а в медицине от этой разницы зависят решения о лечении.
Как LLM прочитали четыре тысячи статей
Авторы отобрали работы, где клинические модели прогноза разрабатывали, обновляли или проверяли. Брали статьи, которые ссылаются на чек-листы TRIPOD или TRIPOD+AI (это списки того, что нужно описать при публикации такой модели) и доступны в открытой коллекции PubMed Central. Результаты исследования опубликованы в Nature Medicine, а выводы лягут в основу руководства TRIPOD-Code, которое сейчас разрабатывают.
Первая сложность в том, что авторы упоминают код совсем по-разному. Кто-то пишет об этом в разделе о методах, кто-то в сноске, кто-то в конце статьи. Как говорит первый автор Thomas Sounack, сначала нужно было понять, делился ли автор кодом вообще. Готовой таблицы для этого нет, есть разрозненный текст. Поэтому LLM отбирали статьи, находили фразы о доступности кода и вытаскивали ссылки. Затем обычный софт скачивал репозитории, и их оценивали по набору признаков: полнота документации, описание требований к программной среде, условия повторного использования.
Результаты LLM проверяли люди. Два исследователя независимо друг от друга просмотрели 500 статей и отдельную выборку репозиториев, обсудили расхождения и только потом сравнили свои оценки с автоматическими. Лучше всего совпадение получилось по конкретным признакам, например по наличию файла лицензии. Хуже оно было там, где нужно субъективное суждение: достаточно ли подробна документация. Авторы подчёркивают, что ошибки классификации возможны, поэтому смотреть стоит на общую картину, а не на каждую цифру.
Что нашли
- Код выложили лишь примерно в 1 из 8 исследований.
- Содержимое репозиториев сильно различалось. Одни, по словам Sounack, были «чрезвычайно хорошо организованы и описаны», другие почти не давали пояснений.
- Доля статей с кодом в разных журналах колебалась от нуля до более чем 70%. Заметны были и различия между странами.
- У некоторых журналов с низкой долей выложенного кода письменная политика о публикации кода всё же была. Выходит, одних правил для мотивации мало.
Среди удачных практик исследователи отметили синтетические датасеты. Когда реальные записи пациентов публиковать нельзя, авторы выкладывали искусственные данные с той же структурой, чтобы код можно было запустить и разобраться, как он работает.
Зачем это практикам
Минимальный набор, нужный другому человеку, чтобы повторить результат: описание того, что делает код, инструкция по запуску, список зависимостей, лицензия и по возможности тестовые данные. Хорошее распространение кода, по словам Sounack, означает «дать достаточно информации, чтобы понять, что делает код, и запустить его, воспроизведя результаты из статьи». Если исходные данные закрыты, синтетический набор остаётся рабочим компромиссом. Он пригодится и в корпоративных проектах, где данные клиентов нельзя передавать подрядчикам.
Есть и вторая польза: схема работы с LLM. Модель не выносила окончательных суждений, а делала черновую работу над разрозненным текстом, после чего выборку проверяли люди, а точность отдельно оценивали по простым и сложным признакам. Такой подход можно перенести на аудит репозиториев или разбор документов. Простые признаки вроде «есть ли лицензия» LLM определяет надёжно, а за оценки вроде «достаточно ли подробна документация» всё ещё отвечает человек.
Ограничения тоже стоит учитывать. В выборку попали только статьи с открытым полным текстом в PubMed Central, а субъективные оценки документации дают больше расхождений.
Следующий шаг — TRIPOD-Code. Через экспертное обсуждение команда определяет, какие элементы кода должны быть обязательными. По словам Тома Поллара из MIT, цель в том, чтобы дать исследователям практические советы, а журналам — более ясные требования к авторам. Обзор даёт для этого фактическую основу.
- 20 нояб. 2026 г.Meta выпустила UMA Nitro: модель атомов нашла формы кристаллов лекарств без дообучения
- 20 нояб. 2026 г.OpenAI защитила рассуждения GPT-6.2 Astra: успех кражи упал с 54% до 0,2%
- 20 нояб. 2026 г.Firecrawl Local: скрейпер для агентов стал в 37 раз быстрее и в 230 раз легче по памяти
- 20 нояб. 2026 г.Hermes Agent придёт в Microsoft Teams: навыки одного сотрудника получит вся команда
Вопросы и ответы по материалу
Что известно по теме: как LLM прочитали четыре тысячи статей?
Авторы отобрали работы, где клинические модели прогноза разрабатывали, обновляли или проверяли. Брали статьи, которые ссылаются на чек-листы TRIPOD или TRIPOD+AI (это списки того, что нужно описать при публикации такой модели) и доступны в открытой коллекции PubMed Central. Результаты исследования опубликованы в Nature Medicine, а выводы лягут в основу руководства TRIPOD-Code, которое сейчас разрабатывают. Первая сложность в том, что авторы упоминают код совсем по-разному.
Что известно по теме: что нашли?
Код выложили лишь примерно в 1 из 8 исследований. Содержимое репозиториев сильно различалось. Одни, по словам Sounack, были «чрезвычайно хорошо организованы и описаны», другие почти не давали пояснений. Доля статей с кодом в разных журналах колебалась от нуля до более чем 70%. Заметны были и различия между странами. У некоторых журналов с низкой долей выложенного кода письменная политика о публикации кода всё же была. Выходит, одних правил для мотивации мало.
Что известно по теме: зачем это практикам?
Минимальный набор, нужный другому человеку, чтобы повторить результат: описание того, что делает код, инструкция по запуску, список зависимостей, лицензия и по возможности тестовые данные. Хорошее распространение кода, по словам Sounack, означает «дать достаточно информации, чтобы понять, что делает код, и запустить его, воспроизведя результаты из статьи». Если исходные данные закрыты, синтетический набор остаётся рабочим компромиссом.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.