Исследователи представили TCLA — метод адаптации медицинских Vision-Language моделей (VLM), который не требует дополнительного обучения параметров. Решение корректирует логиты на уровне классов, эффективно устраняя смещение домена и предвзятость, возникающие при работе с данными вне обучающей выборки. Подход показывает высокую стабильность в условиях крайне ограниченного количества примеров, включая сценарии one-shot, где традиционные методы дообучения часто демонстрируют нестабильность.
Медицинские модели, обученные на масштабных наборах данных общего назначения, часто сталкиваются с проблемой «domain shift» при переходе к узкоспециализированным клиническим задачам. Существующие подходы к адаптации обычно предполагают введение дополнительных обучаемых модулей, что требует вычислительных ресурсов и может приводить к переобучению на малых выборках. TCLA решает эту проблему за счет математической корректировки выходных логитов, сохраняя исходные веса модели неизменными.
Техника опирается на анализ распределения признаков в пространстве классов, позволяя модели лучше адаптироваться к специфике медицинских изображений без изменения архитектуры. Это делает метод пригодным для внедрения в клинические системы, где критически важна предсказуемость поведения модели и отсутствие необходимости в длительных циклах переобучения при смене диагностического оборудования или протоколов сбора данных.
Ключевые факты
- Метод TCLA (Training-Free Class-wise Logit Adaptation) полностью исключает необходимость в обновлении весов нейросети.
- Алгоритм эффективно работает в условиях «few-shot» и «one-shot» обучения, где классические методы адаптации склонны к ошибкам.
- Решение направлено на устранение проблем доменного сдвига (domain shift) и классовой предвзятости, характерных для предобученных VLM.
- Метод повышает точность zero-shot классификации медицинских изображений при работе с данными, отличными от обучающего распределения.