Исследователи Google и DeepMind представили SensorFM — специализированную фундаментальную модель, обученную на одном триллионе минут неразмеченных данных с носимых датчиков. Архитектура модели базируется на 1D-варианте Vision Transformer (ViT) с использованием механизма маскированного автокодировщика, что позволяет эффективно извлекать паттерны из непрерывных сигналов здоровья 5 миллионов пользователей, давших согласие на использование данных.
Разработка направлена на решение проблемы нехватки размеченных данных в сфере цифрового здравоохранения. Традиционные методы анализа биометрических сигналов часто требуют трудоемкой ручной разметки, тогда как SensorFM использует подход самообучения на огромных массивах неструктурированной информации. Это позволяет модели выявлять сложные корреляции в показателях сердечного ритма, активности и сна, которые ранее оставались незамеченными при использовании классических алгоритмов обработки сигналов.
В ходе исследования авторы проверили гипотезу совместного масштабирования (co-scaling), протестировав четыре различных размера модели на четырех разных объемах данных. Результаты подтвердили, что увеличение вычислительных мощностей и объема входных сигналов напрямую коррелирует с точностью предсказаний, что делает SensorFM перспективной базой для создания систем предиктивной диагностики и персонализированного мониторинга состояния здоровья в реальном времени.
Ключевые факты
- Модель обучена на 1 000 000 000 000 минут (один триллион) данных с датчиков.
- В выборку вошли обезличенные данные 5 000 000 участников, предоставивших согласие.
- Архитектурная основа — 1D-вариант Vision Transformer (ViT) с маскированным автокодировщиком.
- Исследование охватывает тестирование четырех масштабов модели и четырех уровней объема данных для оценки эффективности обучения.
