Компании Paige и Microsoft представили мультимодальную модель PRISM2, способную интерпретировать гистологические слайды на основе клинических отчетов. В отличие от классических систем, которые лишь классифицируют пиксели, PRISM2 анализирует тысячи фрагментов тканей и сопоставляет их с текстовыми данными, генерируя осмысленные ответы на диагностические вопросы врача. Обучение модели проходило на массиве из 2,3 млн изображений высокого разрешения.
Архитектура PRISM2 использует персивер-энкодер, который объединяет визуальные признаки тканей с контекстом из патологоанатомических заключений. Такой подход позволяет системе не просто выявлять аномалии, но и «понимать» клиническую значимость находок, имитируя процесс принятия решений специалистом. Модель эффективно агрегирует данные со слайдов целиком, что критически важно для точной постановки диагноза в онкологии и других областях медицины.
Внедрение подобных решений направлено на снижение нагрузки на патоморфологов и повышение точности диагностики за счет автоматизированного анализа больших объемов визуальных данных. Совместная разработка подчеркивает тренд на создание специализированных медицинских ИИ-агентов, способных работать с неструктурированными клиническими данными и сложными изображениями в рамках единого рабочего процесса.
Ключевые факты
- Разработчики: Paige в сотрудничестве с Microsoft.
- Объем обучающей выборки: 2,3 миллиона полноразмерных гистологических изображений.
- Метод работы: использование персивер-энкодера для совместного анализа визуальных фрагментов тканей и текстовых клинических отчетов.
- Основная функция: генерация текстовых ответов на диагностические вопросы вместо простой классификации изображений.