PathoJev-27B обошла SlideChat на 6,3 п.п. по средней точности на трёх WSI-тестах

Исследователи из Сычуаньского университета, больницы Западного Китая, Национального университета Сингапура и Университета Сунь Ятсена представили PathoJev — модель для цифровой патологии, которая отвечает на вопросы о гистологическом слайде не текстом, а готовым распределением вероятностей по вариантам ответа. Слайд целиком (WSI, whole-slide image) читается один раз, после чего любое число вопросов о нём обрабатывается поверх общего визуального контекста. На трёх бенчмарках для целых слайдов версии на 9B и 27B параметров превосходят по средней точности SlideChat — прежнюю модель для вопросов по слайдам: на 5,4 и 6,3 процентного пункта соответственно. Относительно WSI-LLaVA, другой модели того же класса, отрыв составляет 7,0 и 7,9 пункта.

Зачем патологии прямой выход вероятностей

По одному слайду патолог выносит сразу несколько суждений: тип опухоли, степень злокачественности, наличие инвазии. Современные патологические vision-language модели, такие как Quilt-LLaVA, PathChat, SlideChat и Patho-R1, отвечают через авторегрессионную генерацию текста. Для вопроса с заранее заданными вариантами это значит последовательное декодирование и затем извлечение ответа из сгенерированной строки. Нормированного распределения по вариантам такая генерация напрямую не даёт. Если вопросов о слайде несколько, весь цикл повторяется для каждого, хотя тканевые данные у них общие.

PathoJev строится на парадигме System One: вход напрямую отображается в типизированное вероятностное суждение. У каждого вопроса есть тип вывода и упорядоченный набор ответов, а модель выбирает вариант с наибольшей вероятностью. Бинарные вопросы используют набор из двух ответов, вопросы с выбором — текстовые альтернативы.

Один слайд, много вопросов

Признаки с тканевых фрагментов слайда извлекает замороженный энкодер CONCH v1.5. Они усредняются по пространственной сетке, а обучаемый многослойный перцептрон проецирует результат в пространство эмбеддингов языковой основы. Так визуальная последовательность становится короче, но сохраняет пространственную организацию. Для ROI, то есть локальных областей ткани, остаётся родной визуальный тракт базовой модели. Обучение идёт на вопросах и по целым слайдам, и по ROI, поэтому общий интерфейс решений покрывает оба уровня.

Вычисления разделены на общий префикс со слайдом и суффиксы отдельных вопросов. Вопросы ответвляются от префикса независимо и обрабатываются батчем. Гибридная основа использует рекуррентные состояния, поэтому доля вычислений, растущая с длиной контекста слайда, при каждом дополнительном вопросе снижается. Кэш префикса экономит повторное чтение слайда, но обычное softmax-внимание всё равно обращается к ключам и значениям на каждый новый вопрос. Для сравнения стоимости дополнительного вопроса авторы взяли Qwen3-8B, где используется только softmax-внимание.

Что показали замеры

Помимо отрыва от SlideChat и WSI-LLaVA, обе версии сохраняют конкурентную точность на пяти ROI-бенчмарках. На WSI-Bench модель PathoJev-9B работает быстрее SlideChat. Задержка здесь — время прямого прохода на GPU в расчёте на один вопрос; для сравнения на WSI-Bench и PathMMU-tiny. Нулевые WSI-базовые модели в сравнении работали с миниатюрами слайдов.

Отдельный контроль проверяет сам интерфейс. Авторы обучили авторегрессионный вариант на тех же данных, и PathoJev-9B оказался точнее него на шести из восьми бенчмарков — с меньшей задержкой и на WSI, и на ROI. На нагрузке из восьми вопросов общий контекст сокращает суммарное время относительно раздельного кодирования префикса для моделей 9B и 27B, а на 64 вопросах выигрыш растёт. Конкретные проценты ускорения лучше смотреть в самой статье.

Что это значит на практике

Для разработчиков медицинских ИИ-систем главное — архитектурный шаблон. Если у одного входа много структурных вопросов, выгоднее один раз закодировать контекст и читать вероятности ответов напрямую. Уверенность модели по каждому варианту получается сразу, и её можно использовать для порогов и маршрутизации к врачу.

Ограничения тоже очевидны. Прямой выход вероятностей подходит для вопросов с заранее заданным набором ответов и не заменяет свободные описания и развёрнутые диагностические рассуждения, как у Patho-R1. Результаты получены на академических бенчмарках, а не на реальных потоках клинических отчётов. Код проекта опубликован на GitHub в репозитории ChyaZhang/PathoJev.