arXiv · 18.06.2026 ·Исследования и наука

Автоматизированное обучение мультимодальных моделей для радиологии

Исследователи представили метод обучения визуально-языковых моделей (VLM) для анализа медицинских изображений без необходимости ручной разметки пространственных данных. В основе подхода лежит набор данных RefRad2D, включающий 1,2 миллиона пар снимков КТ и МРТ с описаниями на английском и немецком языках. Этот массив данных был сформирован на основе реальной клинической практики.

Для автоматизации процесса подготовки обучающей выборки использовались LLM, которые выполняли курацию контента и сегментацию изображений. Такой подход позволяет создавать специализированные наборы данных для задач визуально-ответных систем (VQA) и пространственного позиционирования объектов на снимках, что значительно сокращает трудозатраты на подготовку размеченных медицинских датасетов.

Разработанная модель демонстрирует способность точно соотносить текстовые описания с конкретными областями на медицинских изображениях. Использование автоматизированной генерации аннотаций открывает путь к масштабируемому обучению узкоспециализированных ИИ-систем, способных интерпретировать сложные диагностические данные в радиологии с высокой точностью.

Источник: arXiv

Похожие материалы

Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. Hacker News · ИИ в бизнесе ИИ-системы для автоматизации диагностики заболеваний мозга В сфере радиологии внедряются специализированные ИИ-решения, предназначенные для автоматизированного анализа снимков головного мозга. Технологии направлены на ускорение обработки данных МРТ и КТ, позволяя выявлять патологии на ранних стадиях с высокой точностью. Алгоритмы обучаются на обширных массивах клинических данных, что помогает врачам сократить время на первичную интерпретацию изображений и минимизировать риск человеческой ошибки при постановке диагнозов. Mistral AI Blog · Память и RAG Как тонкая настройка улучшает работу визуально-языковых моделей на спутниковых снимках Исследователи из Mistral AI продемонстрировали, как тонкая настройка визуально-языковых моделей (VLMs) может значительно улучшить их работу с спутниковыми снимками. В новом исследовании показано, что адаптация моделей под специфику спутниковых данных позволяет точнее анализировать и интерпретировать изображения. arXiv · Машинное обучение Использование неявных сигналов пользователя для дообучения LLM Исследователи представили новый подход к дообучению больших языковых моделей, основанный на анализе неявных действий пользователей. Традиционные методы настройки моделей опираются на явную обратную связь, такую как оценки «нравится» или «не нравится», что требует значительных затрат на сбор данных и встречается крайне редко. Новый метод предлагает использовать для обучения данные о поведении пользователя в интерфейсе, включая движения мыши, траекторию взгляда и время взаимодействия с контентом. Hacker News · ИИ в бизнесе Применение ИИ в кардиологической компьютерной томографии Использование алгоритмов машинного обучения в кардиологической компьютерной томографии (КТ) становится значимым инструментом для повышения точности диагностики сердечно-сосудистых заболеваний. Современные системы автоматизируют процесс сегментации структур сердца, что позволяет врачам быстрее оценивать объем миокарда, состояние коронарных артерий и выявлять признаки кальциноза. ИИ-модели способны обрабатывать большие массивы данных с высокой воспроизводимостью, снижая риск человеческой ошибки при анализе сложных анатомических изображений. arXiv · Машинное обучение Автоматическая оптимизация 3D-генерации с помощью VLM-судьи Исследователи представили новый метод улучшения качества генерации 3D-объектов по одному изображению. В основе подхода лежит использование мультимодальной языковой модели (VLM) в качестве автоматического судьи, который оценивает и ранжирует качество создаваемых мешей. Традиционные метрики, такие как CLIP или упрощенные геометрические прокси, часто оказываются недостаточно точными для оценки сложных 3D-структур, поэтому новая система предлагает более надежный способ фильтрации результатов. arXiv · Машинное обучение Выпущен датасет SARLO-80 для обучения мультимодальных моделей работе с радарами Исследователи представили SARLO-80 — масштабный набор данных, предназначенный для обучения мультимодальных моделей интерпретации радиолокационных изображений с синтезированной апертурой (SAR). В отличие от существующих аналогов, которые опираются на низкое разрешение и упрощенные форматы данных, этот датасет содержит комплексные измерения и сохраняет исходную геометрию съемки. Разрешение снимков составляет 80 сантиметров, что значительно повышает точность обучения нейросетей в задачах дистанционного зондирования Земли. Hacker News · Модели и релизы EPFL представила первые полностью открытые медицинские LLM Исследователи из Федеральной политехнической школы Лозанны (EPFL) выпустили серию специализированных языковых моделей Meditron, предназначенных для работы в сфере здравоохранения. Это первые медицинские модели с полностью открытыми весами, кодом и набором данных для обучения, что позволяет медицинским организациям и разработчикам разворачивать их локально без передачи конфиденциальных данных сторонним облачным провайдерам. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности.

← Все материалы