Машинное обучение
Детектирование ИИ-текстов с помощью классического машинного обучения
Исследователи предложили эффективный метод идентификации текстов, созданных LLM, используя классические алгоритмы машинного обучения вместо сложных нейросетевых классификаторов. Подход базируется на анализе статистических закономерностей и лингвистических особенностей, что позволяет достичь высокой точности определения контента, сгенерированного современными языковыми моделями, при значительно меньших вычислительных затратах и требованиях к обучающей выборке.
Вероятностный движок для игры в Scrabble чемпионского уровня
Исследователи представили алгоритм для игры в Scrabble, который использует вероятностное моделирование для принятия решений на уровне профессиональных игроков. В отличие от классических систем, опирающихся на перебор вариантов, данный подход оценивает потенциальную ценность каждого хода с учетом вероятности получения определенных букв в будущем, что позволяет эффективно максимизировать итоговый счет в условиях неопределенности.
Обучение диффузионной модели для генерации звука на домашнем ПК
Разработчик продемонстрировал процесс обучения специализированной диффузионной модели для генерации звука бас-бочки (kick drum) на обычном домашнем компьютере с ограниченными ресурсами. Эксперимент доказывает возможность дообучения генеративных нейросетей на потребительском железе с 6 ГБ видеопамяти, используя методы оптимизации весов и эффективные пайплайны обработки аудиоданных для создания качественных сэмплов.
MeanFlowNFT: ускорение обучения диффузионных моделей через Reinforcement Learning
Исследователи представили метод MeanFlowNFT, объединяющий генераторы на основе среднего потока (MeanFlow) с обучением с подкреплением (RL) в прямом процессе. Подход позволяет эффективно настраивать диффузионные модели под конкретные задачи и человеческие предпочтения, сохраняя высокую скорость генерации за счет прогнозирования средних скоростей на временных интервалах, что значительно сокращает количество необходимых шагов для получения качественного результата.
SceneBind: новая модель для объединения семантики и 3D-пространства
Исследователи представили SceneBind — мультимодальную модель, которая связывает визуальные, аудио- и текстовые данные с точным пониманием 3D-пространства. В отличие от существующих решений, фокусирующихся только на распознавании объектов, SceneBind создает единое семантико-пространственное представление сцены, позволяя ИИ не только идентифицировать объекты, но и точно определять их расположение и взаимосвязи в трехмерном окружении.
Анализ рыночных настроений через синтез блокчейн-данных и соцсетей
Исследователи представили модель классификации рыночных настроений, объединяющую ончейн-активность биткоина с данными из социальных сетей. В отличие от классических методов прогнозирования цен, новый подход фокусируется на интерпретации эмоционального фона рынка. Интеграция транзакционных данных блокчейна и текстового анализа позволяет точнее определять фазы рыночного цикла и поведенческие паттерны инвесторов в цифровые активы.
Mutable Low-Rank Sketches: решение проблемы устаревания эмбеддингов в рекомендациях
Исследователи представили метод Mutable Low-Rank Sketches, позволяющий обновлять пользовательские эмбеддинги в рекомендательных системах в реальном времени без необходимости полного переобучения модели. Использование структуры KP-tree для хранения предпочтений и динамическая проекция низкого ранга решают проблему «устаревания» данных, обеспечивая актуальность рекомендаций сразу после того, как пользователь взаимодействует с новым контентом или оценивает товар.
Новый метод идентификации языка на основе композиционного анализа данных
Исследователи представили эффективный метод определения языка текста, использующий принципы композиционного анализа данных и логарифмически-отношенную геометрию. В отличие от тяжеловесных нейросетевых архитектур, требующих значительных вычислительных мощностей, предложенный классификатор работает за линейное время, обеспечивая высокую точность при минимальных затратах ресурсов, что делает его оптимальным решением для обработки потоковых данных и задач с ограниченным бюджетом вычислений.
Метод In-Place Tokenizer Expansion для расширения словаря предобученных LLM
Исследователи представили метод In-Place Tokenizer Expansion, позволяющий эффективно расширять словарь уже обученных языковых моделей без необходимости их полной перетренировки. Решение устраняет проблему неэффективной токенизации новых языков, которая обычно приводит к росту задержек и увеличению вычислительных затрат. Новый подход оптимизирует работу с мультиязычными данными, сохраняя производительность модели при добавлении новых лексем в существующий словарь.
Алгоритмы оптимизации графиков обслуживания оборудования на основе данных
Исследователи представили подход к оптимизации стратегии блочной замены оборудования, когда отдельные устройства заменяются при поломке, а вся группа — через фиксированные интервалы времени. Авторы разработали алгоритмы, позволяющие определять оптимальный интервал замены на основе исторических данных об эксплуатации, минимизируя общие затраты в условиях неизвестного распределения срока службы компонентов.
VEXMLM: улучшение работы языковых моделей с письмом Геэз
Исследователи представили VEXMLM — модифицированную версию модели XLM-R, оптимизированную для амхарского и тигринья. Авторы решают проблему низкой эффективности мультиязычных моделей при работе с языками, использующими письмо Геэз. За счет расширения словаря и оптимизации токенизации удалось значительно снизить уровень фрагментации слов и долю неизвестных токенов, что повышает качество обработки текстов для этих африканских языков.
Исследование смещения в алгоритмах HMC и Langevin
Исследователи проанализировали проблему систематического смещения (bias) в неадаптированных методах сэмплирования, таких как гамильтоново Монте-Карло (HMC) и затухающая динамика Ланжевена. Работа доказывает, что при определенных условиях это смещение локализуется, что позволяет использовать данные методы без классической поправки Метрополиса-Гастингса, сохраняя при этом вычислительную эффективность и точность аппроксимации распределений в задачах машинного обучения.
Новый метод обучения Masked Diffusion Language Models через Mask-Aware Policy Gradients
Исследователи представили метод Mask-Aware Policy Gradients, решающий проблему неэффективности обучения диффузионных языковых моделей (MDLM) с подкреплением. Новый подход учитывает порядок снятия масок при генерации токенов, что позволяет точнее оценивать логарифмическое правдоподобие и улучшать качество рассуждений моделей, преодолевая ограничения существующих методов, игнорирующих последовательность процесса демаскирования.
Гибридный подход к моделированию динамических систем через нейро-физические ODE
Исследователи представили новый метод обучения нейронных дифференциальных моделей, объединяющий физические законы с нейронными сетями. Подход использует сглаживание Рауха-Тунга-Стибеля (RTS) для восстановления скрытых состояний динамических систем, описываемых обыкновенными дифференциальными уравнениями (ОДУ). Это позволяет эффективно моделировать процессы в физике, биологии и нейронауке, даже когда часть динамики системы неизвестна, а измерения доступны лишь для ограниченного набора переменных.
On-Policy Delta Distillation: новый метод обучения моделей с подкреплением
Исследователи представили метод On-Policy Delta Distillation, направленный на оптимизацию процесса пост-тренировки языковых моделей. Новый подход позволяет использовать токенизированный надзор от «учителя» для обучения «ученика», обходя ограничения традиционных моделей вознаграждения. Техника повышает эффективность обучения с подкреплением, обеспечивая более точную передачу знаний между моделями при сохранении стабильности процесса.
История и методы машинного обучения до эпохи GPU
Серия книг «The Long Detour» подробно исследует развитие алгоритмов машинного обучения в условиях ограниченных вычислительных мощностей. Автор анализирует методы, которые доминировали до массового внедрения GPU, предлагая глубокий взгляд на оптимизацию вычислений и архитектурные подходы, позволявшие эффективно обучать модели на CPU и специализированном оборудовании прошлого, что актуально для современных задач с низким энергопотреблением.
NVIDIA Nemotron-3 возглавила рейтинг Retrieval-Augmented Generation
Модель NVIDIA Nemotron-3 8B заняла первое место в бенчмарке Retrieval-Augmented Generation (RTEB), продемонстрировав лучшие показатели в задачах семантического поиска и извлечения информации. Новая архитектура оптимизирована для агентных систем, требующих высокой точности при работе с большими массивами неструктурированных данных, что делает её эффективным инструментом для улучшения качества ответов в RAG-системах.
Методы борьбы с галлюцинациями и предвзятостью в LLM-системах
Разработчики представили инженерный подход к минимизации «галлюцинаций» и склонности моделей подстраиваться под ожидания пользователя. Основная идея заключается в изменении архитектуры промптов и процесса валидации ответов, чтобы система приоритизировала объективные данные над вежливым согласием. Это позволяет повысить точность генерации контента в задачах, требующих строгой фактологической проверки и критического анализа.
AlphaWiSE: новый метод адаптивной интерполяции весов для мультимодальных моделей
Исследователи представили AlphaWiSE — метод адаптивной интерполяции весов, решающий проблему деградации мультимодальных моделей при дообучении на новых данных. В отличие от стандартных подходов, сохраняющих единый чекпоинт, AlphaWiSE позволяет гибко настраивать баланс между стабильностью и пластичностью, предотвращая потерю кросс-модального выравнивания, достигнутого на предыдущих этапах обучения, что критически важно для сохранения качества поиска в динамических системах.
Новый подход к анализу сложной иерархической структуры газетных полос
Исследователи представили комплексный метод анализа газетных изображений, отличающихся высокой плотностью и сложной вложенной версткой. Решение объединяет модульный пайплайн на базе YOLO и LayoutReader для определения порядка чтения с подходом «сверху вниз», использующим специализированные визуально-языковые модели. Это позволяет эффективно извлекать данные из гетерогенных макетов, где традиционные алгоритмы распознавания часто допускают ошибки.
Новый метод Kernel-WIS для оценки стратегий в контекстных бандитах
Исследователи представили Kernel-WIS — новый статистический оценщик для задач контекстных бандитов, позволяющий проводить оценку стратегий вне политики (off-policy evaluation) на основе исторических данных. Метод демонстрирует асимптотическую состоятельность и превосходит стандартные подходы, такие как классическое взвешенное выборочное усреднение (WIS), особенно в условиях неточной спецификации поведения системы.
Релиз Crystal ML: библиотека для нейросетей на языке Crystal
Разработчики представили Crystal ML — библиотеку для машинного обучения, написанную на языке программирования Crystal. Проект реализует базовые компоненты для построения нейронных сетей, включая тензорные вычисления, механизмы автоматического дифференцирования (autograd) и набор оптимизаторов. Инструмент ориентирован на создание высокопроизводительных моделей с использованием статической типизации и синтаксиса, близкого к Ruby.
Sokoban Speedrun: новый бенчмарк для обучения с подкреплением
Исследователи представили Sokoban Speedrun — специализированную среду для тестирования алгоритмов обучения с подкреплением (RL). В отличие от классических задач, здесь агент должен не просто решить головоломку, а сделать это максимально быстро. Проект направлен на развитие навыков планирования и долгосрочного стратегического мышления у моделей в условиях ограниченного времени и высокой сложности пространства состояний.
Новый подход к анализу независимых компонент через оптимальное транспортирование
Исследователи предложили новый метод решения задачи анализа независимых компонент (ICA), используя теорию оптимального транспортирования вместо классической оптимизации негэнтропии. Этот подход позволяет более точно разделять смешанные сигналы на исходные независимые компоненты, обходя ограничения традиционных алгоритмов, которые полагаются на аппроксимации четвертого порядка и часто сталкиваются с вычислительными сложностями при работе с нелинейными или сложными распределениями данных.