Машинное обучение
DenseOn и LateOn: открытые модели для поиска с длинным контекстом и поддержкой языков
Исследователи представили DenseOn и LateOn — полностью открытые модели для семантического поиска, решающие проблему зависимости индустрии от закрытых данных. Авторы разработали комплексный пайплайн обучения, включающий 665 млн пар данных, и продемонстрировали эффективность переноса англоязычного обучения на многоязычные задачи, обеспечивая высокую точность в поиске по коду и длинным документам при полной воспроизводимости результатов.
Анализ эффективности методов сжатия токенов в LLM
Исследование методов оптимизации токенов при работе с моделями семейства Codex показало отсутствие значимого прироста эффективности. Автор протестировал пять популярных подходов к сжатию данных, включая удаление пробелов и сокращение синтаксических конструкций, однако ни один из них не обеспечил стабильного снижения затрат без потери качества ответов или нарушения логики выполнения кода.
MindForge: новый подход к обучению малых моделей разработке ПО с нуля
Исследователи представили MindForge — метод обучения малых языковых моделей (SLM) полному циклу разработки программного обеспечения. В отличие от существующих систем, фокусирующихся на правке кода, MindForge позволяет моделям эффективно синтезировать программы с нуля. Решение направлено на преодоление барьера, при котором даже передовые LLM успешно справляются менее чем с 1% задач по созданию полноценных приложений.
Метод конформного прогнозирования для критически важных систем с дисбалансом классов
Исследователи представили новый подход к конформному прогнозированию (CP), адаптированный для задач с высокой ценой ошибки и сильным дисбалансом классов. Метод учитывает асимметричные затраты на неверные предсказания и интегрирует механизм Human-in-the-Loop, позволяя системе делегировать принятие решений человеку в ситуациях с высокой неопределенностью, что критически важно для медицины, финтеха и промышленной безопасности.
Минимизация памяти в частично наблюдаемых процессах принятия решений
Исследователи представили математический метод определения минимальной достаточной статистики для процессов принятия решений с голономическим покрытием (holonomy-cover decision processes). Новый подход позволяет агентам, работающим в условиях частичной наблюдаемости, эффективно сжимать историю взаимодействий, сохраняя при этом марковское свойство системы. Это решение упрощает проектирование памяти для сложных агентных сред, где точный объем необходимой для принятия решений информации ранее оставался неизвестным.
AgentMap: новый подход к гибридному сопоставлению онтологий
Исследователи представили AgentMap — систему для решения задачи гибридного сопоставления онтологий (HOM). В отличие от традиционных методов, которые фокусируются либо на поиске эквивалентности, либо на иерархических отношениях, AgentMap объединяет эти процессы. Это позволяет ИИ-системам более точно интерпретировать семантические связи между различными базами знаний и структурами данных в едином цикле обработки.
Новый метод адаптивной векторизации топологических данных через диаграммы Вороного
Исследователи представили метод адаптивной векторизации ожидаемых диаграмм персистентности (EPD) с использованием гистограмм Вороного. Новый подход позволяет эффективнее обрабатывать топологические признаки облаков точек, снижая вычислительную сложность по сравнению с традиционными методами. Это решение оптимизирует анализ сложных структур данных, сохраняя при этом точность описания топологических характеристик, что критически важно для задач машинного обучения и анализа данных.
Open-source модель для прогнозирования свойств стали по химическому составу
Разработчики представили проект с открытым исходным кодом, использующий методы машинного обучения для предсказания физических свойств ножевой стали на основе её химического состава. Инструмент позволяет инженерам и металлургам оценивать характеристики материалов без проведения дорогостоящих лабораторных испытаний, опираясь на анализ данных о содержании различных элементов в сплаве.
Новый метод обучения энергетических моделей через Parallel Trajectory Tempering
Исследователи представили алгоритм обучения энергетических моделей (EBM), использующий метод Parallel Trajectory Tempering (PTT). Новый подход решает проблему низкой эффективности алгоритмов MCMC, обеспечивая стабильную выборку из распределения в процессе оптимизации. Это позволяет значительно ускорить сходимость моделей и повысить качество генерации данных, что особенно критично для задач научного моделирования и анализа сложных физических систем.
Оценка артериального давления в реальном времени с помощью гибридного ИИ
Исследователи представили легковесную гибридную модель машинного обучения для оценки артериального давления без использования манжеты. Система анализирует данные ЭКГ и фотоплетизмограммы (PPG) с ушной раковины, позволяя определять показатели по одному сердечному циклу. Метод решает проблему нестабильности измерений при движении, характерную для традиционных моделей, основанных на времени прохождения пульсовой волны.
Новый алгоритм HT-PAder для оптимизации в условиях нестационарного шума
Исследователи представили алгоритм HT-PAder, решающий задачу онлайн-выпуклой оптимизации в нестационарных средах с тяжелыми хвостами распределения шума. Метод позволяет достигать универсального динамического сожаления без необходимости предварительной настройки параметров, что ранее считалось открытой проблемой для градиентных оракулов с ограниченным p-м центральным моментом при p от 1 до 2.
ScratchSim: процедурная генерация данных для детекции дефектов на производстве
Исследователи представили ScratchSim — конвейер для создания синтетических наборов данных, предназначенный для обучения моделей компьютерного зрения поиску царапин на поверхностях. Решение использует возможности BlenderProc для генерации размеченных изображений с настраиваемыми параметрами материалов и освещения, что позволяет преодолеть дефицит реальных данных для задач промышленного контроля качества и автоматизации дефектоскопии.
PIKS: новый подход к физически информированным методам машинного обучения
Исследователи представили PIKS (Physics-Informed Kernel Methods) — универсальный подход, объединяющий физические принципы с ядерными методами обучения. В отличие от популярных нейросетей (PINNs), этот метод предлагает более прозрачную теоретическую базу для решения дифференциальных уравнений, что упрощает анализ сходимости и оптимизацию моделей в задачах, где критически важна точность физического моделирования.
Метод CoCaRS для эффективной дистилляции знаний в гетерогенных моделях
Исследователи представили метод CoCaRS (Correlation Calibration-Based Redundancy Suppression), направленный на повышение эффективности дистилляции знаний между моделями с разной архитектурой. Новый подход решает проблему несоответствия индуктивных смещений учителя и ученика, подавляя избыточные корреляции в представлениях данных. Это позволяет компактным моделям точнее перенимать сложные паттерны от крупных нейросетей, минимизируя потери качества при сжатии.
GPTQ-2D: новый метод квантования весов нейросетей
Исследователи представили метод GPTQ-2D, который оптимизирует процесс квантования весов LLM. В отличие от классического алгоритма GPTQ, работающего с односторонним округлением, новый подход применяет двухстороннее адаптивное округление с использованием базисных матриц. Это позволяет эффективнее минимизировать квадратичную ошибку при переводе весов модели в целочисленный формат, сохраняя точность при высокой степени сжатия.
Исследование: риски методов сжатия моделей при реальном развертывании
Исследователи проанализировали влияние методов разреживания (sparsification) и сжатия нейросетей на их поведение в реальных условиях эксплуатации. Выяснилось, что популярные подходы, такие как гипотеза «лотерейных билетов», часто демонстрируют нестабильные результаты. В отличие от лабораторных тестов, при фиксированной логике принятия решений сжатые модели могут терять точность и надежность, что критично для промышленного внедрения ИИ-систем.
TreeCCA: новый метод канонического корреляционного анализа на градиентном бустинге
Исследователи представили TreeCCA — первый метод, позволяющий обучать ансамбли деревьев решений с градиентным бустингом в качестве энкодеров для канонического корреляционного анализа (CCA). Новый подход заменяет традиционные линейные или нейросетевые архитектуры, обеспечивая высокую производительность на табличных данных без необходимости сложной настройки гиперпараметров и проектирования архитектуры нейронных сетей.
SymmGrid: ускорение обучения роботов через параллельные симметрии
Исследователи представили SymmGrid — фреймворк для обучения роботов с подкреплением, который радикально сокращает время тренировки моделей непосредственно на физических устройствах. Используя метод аугментации траекторий на основе параллельных симметрий, система масштабирует групповые преобразования данных. Это позволяет эффективно обрабатывать визуальную информацию как с эгоцентрических, так и с экзоцентрических камер, устраняя главные узкие места в скорости обучения робототехники.
Feature Bagging: новый взгляд на стабильность моделей через анализ признаков
Исследователи представили теоретический анализ метода feature bagging, рассматривая его через призму алгоритмической стабильности. Авторы ввели метрику «нестабильности признаков» (FI), которая оценивает чувствительность модели к удалению отдельных переменных. Работа доказывает, что агрегация базовых моделей, обученных на случайных подмножествах признаков, значительно снижает общую дисперсию и повышает надежность предсказаний в сложных задачах машинного обучения.
Метод BAND для оценки распределений в многомерных данных
Исследователи представили BAND (BAyesian Network Distribution regression) — новый подход к оценке многомерных распределений, позволяющий преодолеть «проклятие размерности». Метод использует разреженные байесовские сети и алгоритмы условного среднего, что обеспечивает оптимальную точность при работе с высокоразмерными данными, включая смешанные типы переменных, что критически важно для анализа сложных временных рядов и многомерных статистических моделей.
Решение проблемы деградации проекторов в мультимодальных моделях при дообучении
Исследователи представили метод Progressive Multimodal Alignment (PMA), направленный на борьбу с «забыванием» в мультимодальных языковых моделях (MLLM) при непрерывном обучении. Технология предотвращает деградацию визуального проектора, который отвечает за связку визуальных данных с текстовым пространством, обеспечивая стабильность работы модели при последовательном освоении новых задач и изменении распределений данных.
Масштабирование обучения с подкреплением для ИИ-агентов до 365 000 сред
Компания Prime Intellect представила платформу для масштабного обучения агентов с подкреплением (RL), поддерживающую одновременную работу в 365 000 средах. Система ориентирована на решение сложных задач в области разработки ПО, работы с терминалом и поисковых систем, позволяя значительно ускорить процесс обучения моделей за счет параллелизации и высокой пропускной способности инфраструктуры.
Автоматизация отладки GPU-сбоев с помощью LLM
AMD представила методологию использования больших языковых моделей для анализа дампов памяти и логов после критических сбоев GPU. Подход позволяет автоматизировать процесс поиска причин аппаратных и программных ошибок, сокращая время на ручной разбор сложных стеков вызовов. Система интерпретирует низкоуровневые данные, сопоставляя их с известными паттернами отказов и документацией архитектуры графических процессоров.
Дистилляция навыков рассуждения проприетарных моделей в open-source агенты
Исследователи представили метод дистилляции сложных навыков логического вывода из закрытых моделей в компактные open-source агенты, специализирующиеся на поиске информации. Новый подход позволяет переносить способности к многошаговому планированию и анализу данных, сохраняя при этом высокую производительность при значительно меньших вычислительных затратах, что делает продвинутые агентные системы доступными для локального запуска и интеграции в прикладные решения.