arXiv · 03.08.2026 ·ИИ в бизнесе

DiffeoAfford: ИИ-система для автоматического кадрирования в лапароскопии

Исследователи представили DiffeoAfford — фреймворк для автоматического управления видеопотоком в лапароскопической хирургии. Система анализирует действия хирурга и автоматически кадрирует изображение, фокусируясь на ключевых зонах вмешательства. Это решение снижает когнитивную нагрузку на врача, позволяя ему меньше отвлекаться на настройку визуального контроля и концентрироваться на выполнении операционных задач в режиме реального времени.

Традиционные модели компьютерного зрения для медицины требуют сложной и дорогостоящей ручной разметки данных, что ограничивает их внедрение. DiffeoAfford обходит это препятствие, используя метод ретроспективного анализа уже проведенных операций. Система обучается на записях процедур, автоматически извлекая информацию о визуальном внимании хирурга и связывая её с конкретными манипуляциями над тканями. Такой подход позволяет создавать обучающие выборки без участия экспертов-разметчиков.

Технология использует концепцию «аффордансов» — визуальных подсказок, которые указывают на возможность совершения определенного действия. В контексте хирургии это позволяет модели предсказывать намерения врача и заранее корректировать область обзора камеры. Внедрение подобных систем в операционные блоки способствует повышению точности манипуляций и сокращению времени проведения сложных хирургических вмешательств за счет оптимизации визуальной среды.

Ключевые факты

DiffeoAfford использует метод ретроспективного обучения на основе завершенных хирургических процедур.
Система устраняет необходимость в плотной ручной пространственной разметке данных, которая ранее была критическим барьером.
Технология направлена на снижение когнитивной нагрузки хирурга через функцию предиктивного автоматического кадрирования.
Фреймворк базируется на концепции action-grounded tissue affordance, связывающей визуальные данные с конкретными хирургическими действиями.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Новый метод сегментации органов в лапароскопической хирургии Исследователи представили метод улучшения сегментации внутренних органов при лапароскопических операциях, использующий трансферное обучение и специализированные декодеры для каждого класса. Решение эффективно справляется с проблемой дисбаланса данных, когда мелкие или редко встречающиеся анатомические структуры недостаточно представлены в обучающих выборках, что критически важно для точности автоматизированных хирургических систем и поддержки принятия решений в реальном времени. arXiv · ИИ в бизнесе ИИ-модель для прогнозирования дисфагии у онкобольных Исследователи представили двухэтапную модель машинного обучения для оценки риска развития дисфагии у пациентов с раком головы и шеи. Система анализирует клинические данные и отчеты пациентов, позволяя выявлять группы риска без проведения дорогостоящей видеофлюороскопии. Метод значительно упрощает мониторинг состояния пациентов в процессе реабилитации, снижая нагрузку на специализированное медицинское оборудование и персонал. arXiv · Исследования и наука TACTFUL: новый фреймворк для тактильного распознавания объектов роботами Исследователи представили TACTFUL — фреймворк, позволяющий многопальцевым роботам идентифицировать и локализовать предметы в ограниченном пространстве исключительно с помощью осязания. В отличие от традиционных систем, опирающихся на компьютерное зрение, этот метод имитирует человеческую способность распознавать объекты на ощупь, что критически важно для работы в условиях плохой видимости или полной темноты, где визуальные сенсоры оказываются неэффективными. arXiv · Машинное обучение Адаптивные границы безопасности для визуальной навигации роботов Исследователи представили метод адаптивной настройки границ безопасности для автономных роботов, работающих в сложных закрытых пространствах. Вместо использования фиксированных параметров, которые часто приводят к ошибкам из-за неточностей восприятия, система динамически корректирует дистанцию до препятствий. Это позволяет роботам избегать лишних объездов и минимизировать риск столкновений при движении в условиях неопределенности. arXiv · ИИ в бизнесе PhaseAware: интерпретируемая система оценки качества реабилитации с участием человека Исследователи представили PhaseAware — фреймворк для непрерывной оценки качества реабилитационных упражнений, объединяющий временные нейросетевые архитектуры с фазовыми дескрипторами движений. Система обеспечивает интерпретируемость результатов, позволяя врачам контролировать процесс оценки в реальном времени. Модель успешно протестирована на наборе данных UI-PRMD, демонстрируя высокую точность в анализе биомеханических показателей пациентов при выполнении терапевтических задач. arXiv · Исследования и наука ClinFusion: мультимодальная модель для комплексного анализа медицинских изображений Исследователи представили ClinFusion — специализированную мультимодальную языковую модель (MLLM), разработанную для глубокого анализа медицинских данных. Система ориентирована на обработку гетерогенных 2D и 3D изображений, что позволяет ей интерпретировать сложные клинические случаи. Архитектура модели направлена на повышение точности диагностики и соответствие стандартам работы практикующих радиологов, обеспечивая высокую фактологическую достоверность ответов при интерпретации визуальной медицинской информации. arXiv · Исследования и наука Новый подход DITL повышает точность диагностики рака груди на маммограммах Исследователи представили фреймворк Dataset-Informed Transfer Learning (DITL), оптимизирующий обучение моделей для анализа маммограмм. В отличие от стандартного трансферного обучения, DITL учитывает специфические характеристики датасетов, что позволяет эффективнее классифицировать патологии как на малых выборках, так и на масштабных клинических данных, преодолевая ограничения существующих методов в медицинской визуализации. arXiv · ИИ в бизнесе ECGLight: автоматизация анализа бумажных ЭКГ в условиях ограниченных ресурсов Исследователи представили ECGLight — специализированный фреймворк для оцифровки и анализа бумажных электрокардиограмм. Решение позволяет проводить скрининг инфаркта миокарда в удаленных клиниках, где отсутствует стабильное интернет-соединение и мощные вычислительные мощности. Система эффективно переводит физические записи в цифровой формат, делая современные методы ИИ-диагностики доступными для медицины в регионах с ограниченной инфраструктурой. arXiv · Машинное обучение Безопасное федеративное обучение для анализа клинических данных ЭЭГ Исследователи представили новый фреймворк для федеративного обучения, предназначенный для работы с чувствительными данными электроэнцефалографии (ЭЭГ). Система использует механизм безопасной агрегации на основе маскирования, что позволяет нескольким медицинским учреждениям совместно обучать модели, не обмениваясь исходными записями пациентов и минимизируя риск утечки конфиденциальной информации через обновления градиентов. arXiv · Исследования и наука Уроки проектирования надежных мультимодальных систем для медицины Исследователи проанализировали девять мультимодальных систем для визуального вопросно-ответного анализа (VQA) в медицине, используя данные эндоскопии желудочно-кишечного тракта MediaEval Medico 2025. Работа фокусируется на создании интерпретируемых и надежных моделей, способных эффективно объединять визуальные и текстовые данные. Авторы выявили ключевые архитектурные решения, которые позволяют повысить точность диагностики и качество объяснений, выходя за рамки стандартных метрик лидербордов.

← Все материалы