Машинное обучение
Перспективы аналоговых вычислений для ускорения нейросетей
Традиционные цифровые архитектуры сталкиваются с физическими ограничениями при масштабировании нейронных сетей, что вынуждает исследователей искать альтернативные способы выполнения матричных операций. Аналоговые вычисления предлагают принципиально иной подход: вместо передачи дискретных битов через логические вентили, вычисления происходят непосредственно в физических компонентах, таких как мемристоры или специализированные транзисторы. Это позволяет выполнять операции умножения и сложения с использованием законов физики, что теоретически снижает энергопотребление на порядки по сравнению с современными GPU.
Нейронные клеточные автоматы и рекуррентные архитектуры
Исследователи представили детальный разбор применения нейронных клеточных автоматов (NCA) в контексте современных рекуррентных архитектур. В отличие от классических моделей, где состояние системы обновляется глобально, NCA используют локальные правила взаимодействия, позволяя модели обучаться сложным паттернам поведения на основе простых локальных операций. Это открывает новые возможности для моделирования динамических систем, где пространственная структура данных имеет решающее значение.
Альтернативный подход к ИИ без трансформеров и обучения
Исследователи представили архитектуру, которая отказывается от использования трансформеров и классического обучения на огромных массивах данных. Вместо генерации текста на основе вероятностных предсказаний, система использует механизм воздержания от ответа в ситуациях, когда данных недостаточно для формирования точного вывода. Это позволяет минимизировать галлюцинации, характерные для современных больших языковых моделей.
Эмбеддинги как способ кодирования данных
Традиционный подход к работе с эмбеддингами в современных системах часто ограничивается поиском семантической близости, однако их потенциал как универсального механизма кодирования данных значительно шире. В основе концепции лежит представление сложных структур, таких как графы, иерархии или бизнес-объекты, в виде плотных векторных пространств, которые сохраняют не только смысл, но и топологические связи между элементами. Это позволяет перенести логику обработки данных с жестких схем на гибкие математические операции.
Пределы генеративного ИИ в задачах низкоуровневого программирования
Разбор процесса написания эффективного парсера IPv4-адресов на языке C демонстрирует фундаментальные различия между человеческим подходом к оптимизации кода и результатами работы современных языковых моделей. В то время как ИИ склонен генерировать стандартные решения, основанные на статистических закономерностях из обучающих выборок, ручная разработка позволяет учитывать специфические аппаратные ограничения и особенности архитектуры процессоров.
EgoInfinity: масштабный датасет для обучения роботов действиям на основе видео
Исследователи представили EgoInfinity — специализированный датасет и вычислительный движок, предназначенный для обучения роботов выполнению задач на основе анализа видеоданных. Проект направлен на решение одной из ключевых проблем современной робототехники: нехватки качественных данных, связывающих визуальное восприятие с конкретными физическими действиями. В отличие от стандартных наборов данных, EgoInfinity использует масштабные видеоархивы для генерации траекторий, которые роботы могут использовать для имитационного обучения.
Диффузионные модели для параллельной генерации текста
Исследователи представили новый подход к архитектуре больших языковых моделей, основанный на принципах диффузии. В отличие от стандартных LLM, которые предсказывают следующий токен последовательно, новая методика позволяет генерировать множество токенов одновременно. Это радикально меняет процесс формирования текста, превращая его из пошагового авторегрессионного процесса в параллельный.
Ограничения обучения на знаниях LLM
Исследование указывает на фундаментальную проблему при попытке дообучения моделей на основе их собственных ответов. Авторы анализируют, почему использование синтетических данных, сгенерированных самой нейросетью, часто приводит к деградации качества, а не к улучшению навыков. Основная сложность заключается в том, что модель при дообучении начинает воспроизводить собственные статистические ошибки и галлюцинации, закрепляя их как эталонные знания.
Автоматизация проектирования нейросетей для граничных вычислений
Разработчики представили подход к автоматизированному поиску архитектур нейронных сетей (NAS), оптимизированный для работы на устройствах с ограниченными вычислительными ресурсами. Технология позволяет автоматически подбирать структуру модели так, чтобы она сохраняла высокую точность при минимальных требованиях к оперативной памяти и энергопотреблению. Это решает проблему переноса тяжелых моделей на оборудование уровня Edge AI, где использование стандартных архитектур часто невозможно из-за жестких ограничений по железу.
Основы квантования больших языковых моделей
Квантование стало ключевым методом оптимизации нейросетей, позволяющим запускать тяжелые модели на потребительском оборудовании. Процесс заключается в снижении точности весов модели, например, с 16-битных чисел с плавающей запятой до 8-битных или 4-битных целых чисел. Это радикально сокращает объем занимаемой оперативной памяти и ускоряет инференс при минимальной потере качества генерации.
Исследование эффективности обучения с подкреплением в задаче Sokoban
Опубликован проект, демонстрирующий применение методов обучения с подкреплением (Reinforcement Learning) для прохождения классической головоломки Sokoban. Работа фокусируется на анализе скорости обучения агентов и их способности находить оптимальные стратегии в условиях ограниченного пространства состояний. Исследователи использовали специализированную среду для тестирования алгоритмов, позволяющую отслеживать прогресс модели в режиме реального времени.
Применение поиска по дереву Монте-Карло для улучшения ответов ИИ
В сообществе разработчиков обсуждают потенциал интеграции алгоритма поиска по дереву Монте-Карло (MCTS) в процесс генерации ответов большими языковыми моделями. Основная идея заключается в том, чтобы позволить модели не просто предсказывать следующее слово, а проводить многовариантное планирование и оценку различных путей рассуждения перед выдачей финального результата. Такой подход имитирует логику игровых ИИ, которые просчитывают последствия своих действий на несколько шагов вперед.
Стартап Subquadratic заявляет о прорыве в архитектуре языковых моделей
Майамский стартап Subquadratic вышел из режима скрытности с заявлением о решении фундаментальной математической проблемы, ограничивавшей развитие больших языковых моделей на протяжении последних десяти лет. Речь идет о преодолении вычислительного барьера, связанного с квадратичной сложностью механизмов внимания в архитектуре Transformer. Традиционно потребность в ресурсах при обработке контекста растет пропорционально квадрату длины последовательности, что создает серьезные препятствия для работы с длинными документами и большими объемами данных.
Liquid AI представила компактные модели для многоязычного поиска
Компания Liquid AI выпустила новые модели LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M, предназначенные для эффективного семантического поиска. Решения базируются на архитектуре с 350 миллионами параметров и оптимизированы для работы на периферийных устройствах, что позволяет использовать их локально без обращения к облачным серверам.
Пошаговое руководство по созданию архитектуры уровня ChatGPT
Публикация подробно описывает процесс проектирования и обучения больших языковых моделей с нуля. Автор разбирает фундаментальные этапы: от подготовки наборов данных и токенизации до архитектурных особенностей трансформеров, лежащих в основе современных чат-ботов. Особое внимание уделено механизму внимания (attention mechanism), который позволяет модели выстраивать контекстные связи между словами в тексте.
Создание надежных пайплайнов для генерации кода с помощью Salesforce CodeGen
Разработан комплексный рабочий процесс для использования модели Salesforce CodeGen, доступной через платформу Hugging Face. В отличие от стандартного инференса, данный подход включает многоступенчатую обработку результатов: извлечение функций, проверку синтаксиса и статический анализ безопасности. Это позволяет минимизировать риски при автоматической генерации программного кода.
Ускорение оптимизации ядер Helion с помощью LLM
Команда PyTorch представила новый подход к автоматической настройке (autotuning) вычислительных ядер Helion, используемых в высокопроизводительных вычислениях. Ранее процесс подбора оптимальных параметров для этих ядер занимал минуты из-за необходимости перебора огромного пространства конфигураций. Использование языковых моделей позволило сократить время оптимизации до нескольких секунд, сохраняя при этом высокую эффективность выполнения операций.
Новый метод достижения мульти-калибровки в предсказательных моделях
Исследователи представили новый подход к достижению мульти-калибровки (multicalibration) в предсказательных моделях. Мульти-калибровка гарантирует, что прогнозы модели остаются несмещенными не только в среднем, но и при рассмотрении различных подгрупп данных, определенных заданными весовыми функциями. Это свойство является критически важным для обеспечения надежности и справедливости алгоритмов в задачах, где ошибки модели могут иметь неравномерные последствия для разных категорий пользователей.
Калибровка моделей Mixture-of-Experts при сдвиге распределения данных
Исследователи представили новый подход к калибровке архитектур Mixture-of-Experts (MoE), направленный на повышение надежности вероятностных прогнозов моделей. Проблема калибровки заключается в том, чтобы предсказанная моделью уверенность соответствовала реальной частоте правильных ответов. В условиях, когда данные на этапе эксплуатации отличаются от обучающей выборки — так называемый сдвиг распределения — точность и доверие к выходным вероятностям нейросетей часто снижаются.
Новый подход к байесовскому обучению в контексте
Исследователи представили метод Multi-Task Bayesian In-Context Learning, направленный на улучшение работы языковых моделей с неопределенностью и обобщением данных. Традиционные методы байесовского вывода часто сталкиваются с вычислительными сложностями или требуют жестких ограничений, которые снижают точность предсказаний. Новый подход предлагает более эффективную альтернативу, объединяя принципы байесовского вывода с возможностями обучения в контексте (in-context learning).
Анализ влияния текстовых инструкций на синтез речи в диффузионных моделях
Исследователи представили метод интерпретации работы систем синтеза речи (TTS), управляемых текстовыми описаниями стиля. В современных моделях, использующих естественный язык для настройки характеристик голоса, долгое время оставалось неясным, какие именно слова в промпте определяют конкретные акустические параметры аудиовыхода. Понимание этой связи необходимо для диагностики ошибок генерации и повышения точности управления эмоциональной окраской речи.
DeepSWIP: новый подход к контрфактуальному выводу в нейросимвольных системах
Исследователи представили DeepSWIP — метод для реализации контрфактуального мышления в нейросимвольных программах, таких как DeepProbLog. В отличие от стандартных систем, которые опираются на ассоциативные связи, новый подход позволяет моделям анализировать причинно-следственные зависимости, учитывая вмешательства и новые доказательства. Это расширяет возможности нейросимвольных систем, объединяющих нейронное восприятие с вероятностной логикой.
Выпущен датасет SARLO-80 для обучения мультимодальных моделей работе с радарами
Исследователи представили SARLO-80 — масштабный набор данных, предназначенный для обучения мультимодальных моделей интерпретации радиолокационных изображений с синтезированной апертурой (SAR). В отличие от существующих аналогов, которые опираются на низкое разрешение и упрощенные форматы данных, этот датасет содержит комплексные измерения и сохраняет исходную геометрию съемки. Разрешение снимков составляет 80 сантиметров, что значительно повышает точность обучения нейросетей в задачах дистанционного зондирования Земли.
FlowEdit: адаптация TTS-систем без переобучения моделей
Исследователи представили метод FlowEdit, позволяющий корректировать произношение в системах синтеза речи (TTS) на базе flow-matching без необходимости дообучения весов модели. Современные генеративные системы синтеза показывают высокое качество в режиме zero-shot, однако они остаются статичными после развертывания. Это приводит к устойчивым ошибкам при озвучивании редких имен собственных или специфических терминов, отсутствующих в обучающей выборке.