Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуOpenAI Blog→ оригинал

ИИ собирает молекулы на 95,4% баллов, но в выборе кандидатов в лекарства — лишь около 50%

OpenAI представила MedChemBench — экзамен для ИИ по задачам химиков-медиков: по структуре молекулы и результатам опытов понять, какое из похожих соединений лучше и что синтезировать дальше. Модель Astra набрала 95,4% баллов за сборку молекул по рисункам, но за выбор соединений и предсказание их свойств получила лишь около половины. Значит, ИИ уже можно поручать проверку структур, а выбор кандидата для лаборатории пока лучше оставлять химику.

AI-обработка оригинала OpenAI Blog; редакция Hamidun News
ИИ собирает молекулы на 95,4% баллов, но в выборе кандидатов в лекарства — лишь около 50%
Источник: OpenAI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникOpenAI Blog ↗
Главный редактор
Ключевой факт #199 задач из 117 статей и патентов, 761 разная молекула
Кольцо из 18 атомовGPT-6 Astra справилась 10 раз из 10, GPT-5.6 Sol — 0 из 10
Итог по всему тестуGPT-6.2 Astra 84,5% баллов, GPT-5.6 Sol 58,2%

Представьте, что химик получил два очень похожих соединения. Первое сильнее подавляет белок, связанный с болезнью, но плохо всасывается. Второе слабее действует, зато лучше проходит через клеточный барьер и медленнее распадается в печени. Какое из них синтезировать и тестировать дальше? Именно такие решения проверяет новый бенчмарк OpenAI MedChemBench — набор из 99 задач, взятых из реальных научных работ по медицинской химии. Результат неоднозначный: модель Astra получила 95,4% доступных баллов за сборку молекул по рисункам и химическим фрагментам, но за выбор соединений и предсказание их числовых свойств — только около половины. Для разработчиков ИИ-инструментов в биотехе это значит: проверку структур и объяснение данных можно автоматизировать уже сейчас, а выбор «лучшего кандидата» пока нельзя отдавать модели без контроля химика.

Как устроен тест

MedChemBench опирается на 117 статей и патентов и включает 761 разную молекулярную структуру. В большинстве задач модель получает тот контекст, который был у исследователей на выбранном шаге проекта: какой белок-мишень выбран, какие цели поставлены, какие соединения уже изучены и какие результаты получены.

Оцениваются четыре навыка:

  • Молекулярные структуры. Верно соединить атомы и учесть пространственное расположение групп (стереохимию) в молекулах, которые нужно собрать из рисунков и химических фрагментов.
  • Научные рассуждения. Объяснить, например, почему одно соединение выбрано вместо другого, опираясь на данные из условия.
  • Ранжирование и выбор. Упорядочить или выбрать соединения так, чтобы они отвечали заданным требованиям.
  • Предсказание свойств. Назвать числа и категории, совпадающие с измеренными и рассчитанными значениями из источника. За близость к реальному измерению дают частичные баллы.

Одна из задач основана на исследовании ингибиторов PRMT5 — белка, который изучают при поиске противораковых препаратов. Модель должна предсказать для трёх родственных соединений, насколько сильно они блокируют PRMT5 в клетках, как легко проходят через клеточный барьер и как быстро их расщепляют ферменты печени в лабораторном тесте. Последующие эксперименты, скрытые от модели, показали компромисс: соединение 23 подавляло PRMT5 при меньшей концентрации, а соединение 24 лучше проникало через барьер и медленнее распадалось.

Что показали цифры

OpenAI прогнала через тест одиннадцать моделей GPT при разных настройках глубины рассуждений. На общем для всех режиме xhigh GPT-6.2 Astra набрала 84,5% доступных баллов, GPT-6 Astra — 83,3%, GPT-6.1 Sol — 82,0%, GPT-6.1 Terra — 75,1%, GPT-5.6 Sol — 58,2%. На режиме max GPT-6 Astra достигла 83,8%. Более глубокие рассуждения в целом повышали результат, но большие разрывы между моделями сохранялись.

Наглядный пример — задача собрать молекулу из центральной структуры и двух присоединённых групп так, чтобы сохранилось кольцо из 18 атомов. GPT-6 Astra справилась во всех десяти ответах. GPT-5.6 Sol и GPT-5.6 Luna не справились ни разу: первая нарисовала кольцо из 15 атомов, вторая разбила молекулу на два несвязанных фрагмента. В химии это критично: если модель неверно записала само вещество, любые дальнейшие выводы о его свойствах бессмысленны.

По навыкам картина неровная. В сборке структур Astra на xhigh получила 95,4% баллов, хорошо объясняла эксперименты: замечала изменения в структуре и взвешивала их возможное влияние на связывание с белком, всасывание и обмен веществ. А вот в выборе соединений и предсказании числовых свойств набирала лишь около половины баллов. OpenAI оговаривается, что у этих категорий разные задачи и правила подсчёта, но запас для улучшения очевиден.

Что это значит на практике

Разумное разделение труда сейчас такое: ИИ проверяет, что молекула записана правильно, помогает интерпретировать данные и формулирует гипотезы, а решение, какое соединение делать следующим, принимают химик и эксперимент.

Сама OpenAI подчёркивает ограничения. Тест не доказывает, что модели способны открывать новые лекарства или улучшать решения в лаборатории. Нельзя исключить, что модели встречали исходные публикации при обучении. Каждый ответ — одна попытка без инструментов, обратной связи и новых экспериментов. Проверялось рассуждение на исторических данных, а не реальный поиск лекарств. Тем не менее у индустрии появилась общая мерка, которая показывает, где модели уже полезны, а где ошибки всё ещё дорого обходятся.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроен тест?

MedChemBench опирается на 117 статей и патентов и включает 761 разную молекулярную структуру. В большинстве задач модель получает тот контекст, который был у исследователей на выбранном шаге проекта: какой белок-мишень выбран, какие цели поставлены, какие соединения уже изучены и какие результаты получены. Оцениваются четыре навыка: Молекулярные структуры. Верно соединить атомы и учесть пространственное расположение групп (стереохимию) в молекулах, которые нужно собрать из рисунков и химических фрагментов.

Что известно по теме: что показали цифры?

OpenAI прогнала через тест одиннадцать моделей GPT при разных настройках глубины рассуждений. На общем для всех режиме xhigh GPT-6.2 Astra набрала 84,5% доступных баллов, GPT-6 Astra — 83,3%, GPT-6.1 Sol — 82,0%, GPT-6.1 Terra — 75,1%, GPT-5.6 Sol — 58,2%. На режиме max GPT-6 Astra достигла 83,8%. Более глубокие рассуждения в целом повышали результат, но большие разрывы между моделями сохранялись.

Что известно по теме: что это значит на практике?

Разумное разделение труда сейчас такое: ИИ проверяет, что молекула записана правильно, помогает интерпретировать данные и формулирует гипотезы, а решение, какое соединение делать следующим, принимают химик и эксперимент. Сама OpenAI подчёркивает ограничения. Тест не доказывает, что модели способны открывать новые лекарства или улучшать решения в лаборатории. Нельзя исключить, что модели встречали исходные публикации при обучении. Каждый ответ — одна попытка без инструментов, обратной связи и новых экспериментов.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…