Машинное обучение
Эксперимент по обучению LLM с 30 млн параметров опровергает теорию «пола масштабирования»
Разработчик обучил с нуля языковую модель объемом 30 миллионов параметров, чтобы проверить гипотезу о существовании «пола масштабирования» (scaling floor) — теоретического предела, ниже которого модели перестают эффективно обучаться. Результаты эксперимента показали, что даже при столь малом количестве параметров модель продолжает демонстрировать стабильное снижение функции потерь, опровергая предположения о необходимости огромных вычислительных мощностей для достижения прогресса.
Appearance Pointers: новый метод точного управления генерацией в Diffusion Transformers
Исследователи представили метод Appearance Pointers, позволяющий добиться высокой точности при генерации изображений с помощью Diffusion Transformers (DiT). Технология решает проблему ограниченного контроля текстовых промптов, внедряя механизм указателей для локального управления объектами, материалами и пространственным расположением элементов. Это позволяет пользователям задавать конкретные визуальные атрибуты для отдельных областей кадра без потери общей целостности композиции.
Новый подход к 1-липшицевым нейросетям на Адамаровых многообразиях
Исследователи представили метод построения 1-липшицевых нейронных сетей, адаптированный для работы на Адамаровых многообразиях. В отличие от стандартных решений для евклидовых пространств, этот подход обеспечивает повышенную устойчивость и стабильность моделей в нелинейных геометрических структурах. Предложенные слои используют градиентный спуск и обладают свойствами квази-α-непрерывности, что открывает новые возможности для оптимизации сложных нейросетевых архитектур.
ISO: новый стек оптимизации для обучения моделей с подкреплением
Исследователи представили ISO — специализированный стек оптимизации, предназначенный для обучения языковых моделей с использованием подкрепления на основе верифицируемых наград (RLVR). Авторы проанализировали процесс преобразования обратной связи от наград в обновление весов модели, выявив феномен «спектрального наследования», который позволяет эффективнее управлять обучением моделей с продвинутыми навыками рассуждения.
MaLoRA: новый метод адаптации LLM через селективное состояние
Исследователи представили MaLoRA — метод адаптации языковых моделей, который дополняет стандартные LoRA-адаптеры селективной рекуррентностью в пространстве состояний. В отличие от статических обновлений весов, этот подход позволяет модели динамически адаптироваться к конкретным токенам и контексту, значительно повышая эффективность рассуждений и точность обработки сложных последовательностей без необходимости полного дообучения параметров модели.
CircuitKIT: новый инструментарий для механистической интерпретируемости нейросетей
Исследователи представили CircuitKIT — комплексный фреймворк для анализа внутренних цепей (circuits) в нейронных сетях. Инструмент объединяет этапы обнаружения, оценки и вмешательства в работу моделей, устраняя необходимость в разрозненных решениях. Библиотека автоматизирует создание контрастных промптов и упрощает такие задачи, как прунинг, редактирование весов и направленное дообучение, делая механистическую интерпретируемость более доступной для прикладных исследований.
Новый подход к детекции точек пребывания в зашумленных геоданных
Исследователи представили новый метод анализа траекторий, позволяющий эффективно выделять значимые локации из «сырых» и зашумленных GPS-данных. Алгоритм трансформирует последовательности координат в семантически понятные объекты, такие как дом или работа. Работа закрывает критический пробел в области пространственных вычислений, где до сих пор отсутствовали стандартизированные бенчмарки и единые подходы к оценке качества подобных алгоритмов.
Интегрированный подход к навигации БПЛА через SDF-картирование
Исследователи представили новый метод автономного полета БПЛА, объединяющий построение геометрических карт и планирование траекторий в единый процесс. Вместо использования бинарных сеток занятости, система опирается на функции знакового расстояния (SDF), что позволяет дронам в реальном времени строить безопасные маршруты в сложных условиях с препятствиями, минимизируя вычислительные затраты и повышая динамическую точность маневрирования.
Риманово глубокое обучение: унифицированный фреймворк для работы на многообразиях
Исследователи представили унифицированный подход к риманову глубокому обучению, решающий проблему привязки нейронных сетей к евклидовым пространствам. Новая методология позволяет эффективно работать с данными на неевклидовых многообразиях, используя переиспользуемые нейронные модули и оптимизированные геометрические операции, что устраняет необходимость в дорогостоящих и численно нестабильных вычислениях, характерных для существующих методов обработки сложных геометрических структур.
Оптимальное управление в реальном времени через рекуррентные декодеры
Исследователи представили новый метод управления динамическими системами с использованием неглубоких рекуррентных декодеров. Подход позволяет оперативно адаптировать стратегии контроля в меняющихся условиях, исключая необходимость проведения множественных вычислительно затратных симуляций. Метод демонстрирует высокую эффективность в задачах, требующих мгновенной реакции системы при сохранении стабильности и точности управления в условиях высокой размерности данных.
Применение обучения с подкреплением для прогнозирования срыва пламени в газовых турбинах
Исследователи представили фреймворк на базе обучения с подкреплением (RL) для оптимизации моделей сетей жидкотопливных реакторов. Новый подход позволяет точнее предсказывать явление срыва пламени (lean blowout) в камерах сгорания газовых турбин. В отличие от традиционных методов, опирающихся на ручные эвристики, предложенная архитектура целенаправленно оптимизирует параметры кластеризации для достижения высокой точности прогнозирования критических режимов работы оборудования.
Метод GUIDED для улучшения пространственной обобщаемости графовых нейросетей
Исследователи представили метод GUIDED, решающий проблему пространственной непереносимости графовых нейронных сетей (GNN) в задачах транспортного планирования. Новый подход позволяет моделям эффективно адаптироваться к различным топологиям дорожных сетей, устраняя зависимость от фиксированных структур данных. Это значительно повышает точность прогнозирования транспортных потоков при масштабировании решений на новые географические регионы без необходимости полного переобучения.
Новый подход к моделированию пользователей через мультиреляционные графовые нейросети
Исследователи представили метод моделирования поведения пользователей на основе мультиреляционных графовых сверточных сетей (MR-GCN). В отличие от традиционных графовых моделей, которые рассматривают связи как однородные, новый подход учитывает различные типы взаимодействий, что позволяет точнее предсказывать предпочтения и последовательности действий в персонализированных системах, значительно повышая качество рекомендаций и точность профилирования.
ИИ-модели для термодинамических расчетов в сверхкритическом горении
Исследователи предложили метод термодинамически обоснованной репараметризации входных данных для нейросетевого прогнозирования свойств реальных жидкостей. Новый подход позволяет ускорить расчеты в симуляциях сверхкритического горения, заменяя ресурсоемкие итерационные вычисления уравнений состояния на предсказания нейронной сети, сохраняя при этом физическую непротиворечивость результатов и высокую точность в критических точках.
Классификация временных рядов через контекстные случайные сверточные признаки
Исследователи представили новый метод классификации временных рядов, использующий случайные сверточные признаки (Random Convolutional Features) в рамках контекстного обучения. Подход позволяет эффективно преобразовывать сложные последовательности данных в табличный формат фиксированной размерности, сохраняя при этом локальные паттерны, частотные характеристики и кросс-канальные зависимости, что критически важно для анализа медицинских сигналов и промышленного мониторинга.
Метод S3 для повышения стабильности иерархического обучения с подкреплением
Исследователи представили алгоритм S3 (Stable Subgoal Selection), решающий проблему нестабильности в иерархическом обучении с подкреплением (HRL). Метод ограничивает неопределенность динамики верхнего уровня при выборе подцелей. Это позволяет агентам эффективнее справляться с задачами на длинных временных горизонтах, где традиционные алгоритмы обучения с подкреплением часто сталкиваются с нехваткой сигналов обратной связи.
Эксперименты по обучению нейросетей на графах знаний RDF
Проект ML-pokedex исследует альтернативные методы обучения моделей, используя данные в формате RDF (Resource Description Framework) вместо традиционных текстовых корпусов. Автор тестирует возможность прямой подачи структурированных семантических данных в архитектуры нейронных сетей, чтобы оценить, насколько эффективно модели могут усваивать графовые связи и логические отношения без предварительной конвертации в естественный язык.
Grabette: открытая система для сбора данных манипуляций роботов
Hugging Face представила Grabette — открытую систему для сбора и записи данных о манипуляциях роботов в реальном времени. Решение упрощает создание качественных наборов данных для обучения моделей робототехники, позволяя исследователям фиксировать взаимодействия с объектами в физическом пространстве. Система ориентирована на стандартизацию сбора данных, что критически важно для развития автономных манипуляторов и обучения с подкреплением.
Новый метод поиска причинно-следственных связей в нерегулярных временных рядах
Исследователи представили новый подход к выявлению причинно-следственных связей (causal discovery) для данных с нерегулярной дискретизацией. Традиционные методы часто ограничены жесткими требованиями к интервалам между измерениями, что затрудняет анализ реальных потоков событий. Предложенное расширение позволяет эффективно работать с асинхронными данными, такими как медицинские показатели, финансовые транзакции или сигналы с датчиков, повышая точность моделирования сложных динамических систем.
Адаптивные границы безопасности для визуальной навигации роботов
Исследователи представили метод адаптивной настройки границ безопасности для автономных роботов, работающих в сложных закрытых пространствах. Вместо использования фиксированных параметров, которые часто приводят к ошибкам из-за неточностей восприятия, система динамически корректирует дистанцию до препятствий. Это позволяет роботам избегать лишних объездов и минимизировать риск столкновений при движении в условиях неопределенности.
OR Else: новый метод оптимизации политики для обучения LLM
Исследователи представили метод Output Reset (OR) — альтернативу стандартным алгоритмам PPO и GRPO, используемым при дообучении языковых моделей. Вместо резкого ограничения функции потерь (clipping), OR применяет гладкое правило насыщения, что позволяет избежать скачков в производных целевой функции и обеспечивает более стабильную оптимизацию политики при работе с большими моделями.
Метод TRIM для оптимизации кода, создаваемого ИИ-агентами
Исследователи представили метод TRIM (Trajectory Minimization), направленный на устранение избыточности в коде, генерируемом ИИ-агентами. Анализ показал, что текущие модели склонны к созданию чрезмерно объемных и многословных решений из-за особенностей их процесса поиска. Новый подход позволяет минимизировать траектории агентов, что приводит к написанию более лаконичного и качественного кода, сопоставимого с человеческим стилем программирования.
Дифференцируемые логические сети для ускорения обработки ЭЭГ на edge-устройствах
Исследователи представили метод Differentiable Logic Gate Networks (Diff-Logic), позволяющий заменить стандартные нейронные сети с плавающей запятой на чисто булевы схемы. Это решение оптимизирует классификацию ЭЭГ-сигналов в реальном времени на edge-устройствах, используя побитовые операции CPU вместо ресурсоемких вычислений, что значительно снижает задержки и требования к аппаратным мощностям при сохранении точности моделей.
Применение нейросетей для анализа характеристических многочленов матриц
Исследователи изучили возможности классификации вполне положительных матриц через старшие коэффициенты их характеристических многочленов. Для определения наиболее информативных признаков авторы применили нейросетевые классификаторы в сочетании с методами интерпретируемости (feature attribution). Работа демонстрирует эффективность машинного обучения в задачах теоретической линейной алгебры и анализа структурированных семейств матриц, позволяя выявлять скрытые закономерности в их математических свойствах.