Машинное обучение
Реализация 3D-сегментации селезёнки на основе MONAI и UNet
В новом туториале представлена пошаговая реализация конвейера для 3D-сегментации медицинских изображений с использованием фреймворка MONAI. Цель — сегментация селезёнки на основе набора данных Medical Segmentation Decathlon Task09, включающего томографические сканы.
Google выпустила открытую модель DiffusionGemma
Google представила новую открытую модель DiffusionGemma-26B-A4B-it, основанную на архитектуре Gemini. Это значимое событие, так как ранее компания демонстрировала экспериментальную версию модели, но не продолжала её развитие. Теперь модель доступна под лицензией Apache 2, что открывает возможности для широкого использования в исследовательских и коммерческих проектах.
DiffusionGemma от DeepMind ускоряет генерацию текста в 4 раза
DeepMind представила новую модель DiffusionGemma, которая значительно ускоряет процесс генерации текста. Новая модель работает в 4 раза быстрее по сравнению с предыдущими решениями, что делает её одной из самых быстрых в своей категории. Это достижение может иметь значительное влияние на разработку ИИ-агентов, где скорость генерации текста играет ключевую роль в эффективности работы.
RadixAttention в Trellis ускоряет работу моделей на 30%
Команда UnfoldML представила RadixAttention — новую архитектуру внимания для ускорения работы трансформеров. Внедрённая в Trellis, она позволяет сократить время инференса на 30% без потери точности. Это особенно важно для ИИ-агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт.
Запуск Transformers.js в Chrome-расширениях
Hugging Face выпустила руководство по интеграции Transformers.js в Chrome-расширениях. Это позволяет запускать модели трансформеров прямо в браузере без необходимости отправки данных на удалённые серверы. Такой подход особенно полезен для разработчиков, создающих ИИ-агентов, которые требуют локальной обработки информации с сохранением конфиденциальности пользователей.
Parcae: модель с петлями вместо трансформеров
Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей.
Together AI представила FlashAttention-4 и ThunderAgent
На конференции AI Native Conf компания Together AI анонсировала несколько ключевых разработок в области инференса и оптимизации моделей. Среди них — FlashAttention-4, ускоряющая вычисления внимания, и ThunderAgent, платформа для развертывания агентов.
FlashAttention-4: оптимизация для асимметричного масштабирования
Команда Together.ai представила FlashAttention-4 — алгоритм, оптимизированный для современных GPU. Новая версия использует пиплайнинг для максимального перекрытия операций, что позволяет эффективно использовать пропускную способность графических процессоров.
Новый метод ускоряет диффузионные языковые модели в 14 раз
Исследователи из Together AI представили Consistency Diffusion Language Models (CDLM) — метод, который ускоряет работу диффузионных языковых моделей в 14,5 раза без потери качества.
Sequential Attention: как ускорить модели без потери точности
Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени.
Скрытая ошибка при совместном использовании PyTorch и NumPy
Разработчики ML-проектов часто допускают критическую ошибку при передаче данных между PyTorch и NumPy, связанную с управлением памятью. Использование стандартных методов конвертации приводит к тому, что тензоры и массивы начинают делить одну область памяти. Это вызывает непредсказуемые изменения данных в процессе обучения, которые крайне сложно отследить при отладке моделей.
Методы обучения с подкреплением: связка TD3 и Hindsight Experience Replay
Исследователи проанализировали эффективность комбинации алгоритма TD3 (Twin Delayed DDPG) и метода Hindsight Experience Replay (HER) для решения задач обучения с подкреплением. Использование HER позволяет агентам обучаться даже при разреженных сигналах вознаграждения, переосмысливая неудачные попытки как успешные достижения альтернативных целей, что значительно ускоряет сходимость в сложных средах с непрерывным пространством действий.
Исследование: ошибки разметки в популярных ML-бенчмарках
Исследователи проанализировали качество тестовых наборов данных в популярных бенчмарках машинного обучения и обнаружили значительное количество ошибок разметки. В таких широко используемых датасетах, как ImageNet, CIFAR-10 и QuickDraw, доля неверно размеченных примеров достигает 6%, что ставит под сомнение точность оценки современных моделей и их реальную способность к обобщению на чистых данных.
Детекция поведения микроконтроллеров через анализ тока и TinyML
Исследователи представили метод мониторинга безопасности микроконтроллеров, основанный на анализе потребления тока с применением алгоритмов TinyML. Система позволяет выявлять аномалии в работе устройств, отслеживая изменения в энергопотреблении в режиме реального времени. Это решение помогает обнаруживать вредоносную активность или сбои в работе встроенных систем без необходимости модификации их программного обеспечения или установки дополнительных агентов внутри прошивки.
Геолокация по фото с помощью глубокого обучения
Разработчик реализовал систему для определения места съемки фотографий на основе визуальных признаков, используя методы глубокого обучения. Модель анализирует характерные особенности ландшафта, растительности и архитектуры, сопоставляя их с глобальными географическими данными. Проект демонстрирует возможности компьютерного зрения в задачах пространственной привязки изображений, достигая высокой точности предсказания координат без использования метаданных EXIF.
Введение в автоматическую настройку гиперпараметров моделей
Автоматическая настройка гиперпараметров (HPO) является критическим этапом в жизненном цикле машинного обучения, позволяющим оптимизировать производительность моделей без ручного перебора конфигураций. Современные подходы переходят от простых методов поиска по сетке к интеллектуальным алгоритмам, которые значительно сокращают время обучения и повышают точность предсказаний, автоматизируя выбор оптимальных параметров для сложных архитектур нейронных сетей и классических алгоритмов.
Data Science in Julia for Hackers: руководство по языку для анализа данных
Вышло практическое руководство «Data Science in Julia for Hackers», сфокусированное на применении языка Julia для задач машинного обучения и анализа данных. Книга предлагает альтернативный подход к разработке моделей, делая упор на высокую производительность вычислений и удобство синтаксиса, что позволяет эффективно решать сложные математические задачи без потери скорости, характерной для интерпретируемых языков программирования.
Геометрия многомерных пространств в машинном обучении
В лекции подробно разбирается математическая природа высокоразмерных пространств, в которых работают современные нейронные сети. Автор объясняет, почему интуиция, основанная на трехмерном мире, часто подводит при анализе векторных представлений (эмбеддингов), и как свойства многомерной геометрии влияют на обучение моделей, распределение данных и эффективность поиска в векторных базах данных.
Интерактивная визуализация сверточных нейронных сетей в реальном времени
Разработан инструмент для визуализации работы сверточных нейронных сетей (CNN) в среде Unity. Проект позволяет в реальном времени наблюдать за активациями слоев, фильтрами и весами модели, преобразуя абстрактные математические операции в интерактивную 3D-графику. Это решение помогает глубже понять внутренние процессы обучения и принятия решений глубокими нейросетями через наглядное представление данных.
Новый алгоритм ускоряет решение систем линейных уравнений
Исследователи представили алгоритм, который преодолевает теоретический барьер скорости решения систем линейных уравнений. Новый метод позволяет находить точные решения значительно быстрее традиционных подходов, что критически важно для обучения нейронных сетей, оптимизации графов и работы с большими данными. Это достижение меняет представление о вычислительной сложности фундаментальных математических операций, лежащих в основе современных алгоритмов машинного обучения.
Dex: исследовательский язык программирования для обработки массивов
Google Research представила Dex — функциональный язык программирования, разработанный для высокопроизводительной обработки массивов и задач машинного обучения. Проект сочетает строгую типизацию в стиле Haskell с эффективностью вычислений, характерной для низкоуровневых систем. Язык ориентирован на автоматическое дифференцирование и оптимизацию сложных математических операций, что делает его инструментом для глубоких исследований в области алгоритмов обработки данных.
Вероятностное программирование через монады распределений
Статья объясняет применение концепции монад из функционального программирования для работы с вероятностными распределениями. Автор демонстрирует, как этот математический подход позволяет лаконично описывать сложные вероятностные модели и автоматизировать решение задач статистического вывода, упрощая абстракцию случайных величин в программном коде для задач машинного обучения и анализа данных.