Исследователи представили MoPET — метод параметрически эффективного обучения (PEFT) на основе архитектуры Mixture-of-Experts для задач классификации медицинских изображений. Подход позволяет объединять знания из различных диагностических задач в единой модели, избегая переобучения и необходимости создания отдельных адаптеров для каждого типа исследования, что критически важно при работе с ограниченными клиническими данными.
Традиционные методы дообучения в медицине часто сталкиваются с проблемой «изолированных адаптеров», когда для каждого нового заболевания или типа снимков требуется отдельный модуль. Это приводит к избыточному потреблению ресурсов и сложности масштабирования систем поддержки принятия врачебных решений. MoPET решает эту задачу за счет динамического выбора экспертов, которые специализируются на различных признаках, сохраняя при этом общую базу знаний модели.
Архитектура использует разреженную активацию параметров, что позволяет модели эффективно адаптироваться к клинической гетерогенности данных. В ходе экспериментов метод продемонстрировал высокую точность классификации при значительно меньшем количестве обучаемых параметров по сравнению с полным дообучением сети. Это открывает возможности для создания универсальных диагностических систем, способных обрабатывать широкий спектр патологий без потери производительности на узких задачах.
Ключевые факты
- Метод MoPET объединяет принципы Mixture-of-Experts и PEFT для работы с медицинскими изображениями.
- Архитектура устраняет необходимость создания отдельных адаптеров для каждой специфической диагностической задачи.
- Подход эффективно борется с переобучением, характерным для работы с небольшими наборами клинических данных.
- Модель обеспечивает высокую точность классификации при минимальном количестве обучаемых параметров.