Исследования и наука
Исследование интерпретируемости языковых моделей в химии
Исследователи провели систематический анализ того, как химические языковые модели (CLM) кодируют молекулярные структуры при работе с форматом SMILES. Изучив восемь предобученных и шесть случайных моделей, авторы оценили способность нейросетей распознавать 78 химических подструктур. Работа проясняет влияние этапов предобучения и дообучения на формирование «химического понимания» у моделей, что критически важно для задач молекулярного дизайна и разработки новых материалов.
Новый подход к обучению ИИ логическому мышлению в разработке ПО
Исследователи представили методологию, позволяющую ИИ-моделям глубже анализировать структуру программного кода и логические связи внутри него. Вместо стандартного предсказания следующего токена система фокусируется на формальной верификации и понимании семантики кода, что значительно снижает количество галлюцинаций при генерации сложных программных решений и упрощает процесс отладки для разработчиков.
Disney Research представила нейронные прокси для интерактивного освещения
Исследовательское подразделение Disney представило метод Neural Render Proxies, позволяющий выполнять дифференцируемый рендеринг и интерактивное управление освещением в сложных сценах. Технология использует нейронные аппроксимации для замены дорогостоящих физических расчетов, сохраняя при этом высокую точность передачи света и теней, что значительно ускоряет процесс итерации в 3D-графике и визуальных эффектах.
Исследование использования ИИ в создании художественной литературы
Новое исследование, опубликованное на платформе arXiv, анализирует масштабы использования генеративных моделей в написании художественных текстов. Авторы работы изучили корреляцию между ростом популярности LLM и изменениями в стилистических характеристиках произведений на крупных литературных платформах, выявив заметный сдвиг в структуре повествования и лексическом разнообразии, который указывает на активное внедрение ИИ-инструментов среди авторов.
Курс Modern AI: Foundations, Learning, and Systems от ведущих экспертов
Опубликован полный цикл лекций «Modern AI: Foundations, Learning, and Systems», охватывающий фундаментальные аспекты современных систем искусственного интеллекта. Материалы курса систематизируют знания об архитектурах моделей, методах обучения и инженерных принципах построения масштабируемых ИИ-систем, предоставляя глубокий технический обзор текущего состояния отрасли для специалистов, занимающихся разработкой и внедрением сложных интеллектуальных решений.
Исследование разрыва между идеями исследователей-людей и LLM
Исследователи представили фреймворк для оценки качества идей, генерируемых большими языковыми моделями, в сравнении с реальными научными работами. Авторы проанализировали способность ИИ предлагать гипотезы, сопоставимые по уровню с публикациями высокого качества. Результаты показывают, насколько текущие модели способны имитировать исследовательское мышление и в чем именно заключается фундаментальный разрыв между автоматизированной генерацией и человеческим научным поиском.
Обучение одного слоя Transformer может заменить полную настройку RL
Исследователи выяснили, что для эффективного обучения с подкреплением (RL) больших языковых моделей не обязательно обновлять все параметры архитектуры. Эксперименты показали, что дообучение всего одного слоя Transformer позволяет достичь результатов, сопоставимых с полной настройкой модели. Это открытие ставит под сомнение необходимость равномерного обновления весов при пост-тренировке LLM и открывает путь к значительной оптимизации вычислительных ресурсов.
Гипотеза разделения состояния и предсказания в архитектуре трансформеров
Исследователи предложили новую архитектуру трансформеров, основанную на гипотезе разделения состояния и предсказания. В стандартных моделях один поток вычислений одновременно отвечает за генерацию следующего токена и хранение контекста. Авторы доказали, что разграничение этих функций позволяет существенно повысить эффективность языкового моделирования и качество предсказаний в долгосрочной перспективе.
TiRex-2: новая foundation-модель для многомерных временных рядов
Исследователи представили TiRex-2 — фундаментальную модель для прогнозирования временных рядов, основанную на архитектуре xLSTM. В отличие от первой версии, работавшей с одномерными данными, TiRex-2 адаптирована для многомерных последовательностей. Модель эффективно обрабатывает потоковые данные, учитывая как исторические показатели, так и известные заранее будущие ковариаты, что критически важно для задач реального времени.
Сравнительный анализ квантового и классического машинного обучения
Исследователи представили масштабное эмпирическое сравнение квантовых и классических моделей машинного обучения, чтобы оценить реальные вычислительные преимущества квантовых подходов. Несмотря на теоретический потенциал, текущие данные указывают на отсутствие значительного превосходства квантовых алгоритмов над классическими аналогами в стандартных задачах. Работа систематизирует производительность обеих парадигм, предоставляя базу для оценки перспективности квантовых вычислений в прикладном ML.
QuasiMoTTo: новый метод оптимизации вычислительных затрат при генерации ответов LLM
Исследователи представили метод QuasiMoTTo, позволяющий повысить эффективность масштабирования вычислений при инференсе языковых моделей. Вместо независимой генерации множества вариантов ответа, которая приводит к избыточности, новый подход использует квазислучайные последовательности для более равномерного покрытия пространства решений. Это позволяет достичь более высокого качества ответов при тех же затратах вычислительных ресурсов или сократить время генерации.
Автоматизированный поиск алгоритмов удаления концепций в LLM
Исследователи представили новый подход к автоматическому поиску алгоритмов для удаления нежелательных концепций из весов нейронных сетей. Используя агентную систему, авторы смогли обнаружить эффективные методы «стирания» знаний, которые превосходят существующие ручные подходы. Это позволяет точечно корректировать поведение моделей, минимизируя побочные эффекты для общей производительности и сохраняя функциональность системы после удаления конкретных данных или концепций.
Разделение влияния языка и диктора в системах верификации голоса
Исследователи представили новый подход к анализу систем кросс-языковой верификации дикторов, направленный на устранение ошибок при смене языка. Авторы работы выявили, что стандартные протоколы оценки часто смешивают языковые различия с индивидуальными особенностями голоса, и предложили методологию, позволяющую изолировать эти факторы для повышения точности биометрических систем в условиях мультиязычности.
Автономные научные открытия через итеративную мета-рефлексию
Исследователи представили новый подход к автоматизации научного поиска, основанный на методе итеративной мета-рефлексии. В отличие от существующих систем, ограниченных узкими рамками или заранее заданными вопросами, новая архитектура позволяет ИИ-агентам самостоятельно формулировать гипотезы, проводить их проверку и корректировать стратегию исследования на основе полученных результатов, что приближает системы к полноценному открытому научному поиску.
GAIA: новый метод нейросетевого моделирования для решения сложных физических задач
Исследователи представили GAIA (Geometry-Adaptive Operator Learning) — новый подход к обучению нейронных операторов для решения дифференциальных уравнений в частных производных на произвольных геометрических формах. В отличие от существующих решений, ориентированных на прямые задачи, GAIA эффективно справляется с краевыми задачами, где входные и выходные данные распределены по разным пространственным доменам, что критически важно для инженерного моделирования.
Ортогонализация матриц повышает эффективность памяти в рекуррентных моделях
Исследователи представили метод ортогонализации матриц весов, который значительно улучшает способность рекуррентных нейронных сетей (RNN) удерживать долгосрочные зависимости. Техника предотвращает затухание градиентов и нестабильность при обучении, позволяя моделям эффективнее сохранять информацию в скрытых состояниях. Это решение предлагает альтернативу архитектурам Transformer, снижая вычислительные затраты при обработке длинных последовательностей данных.
FAR: новый метод обучения роботов на собственных ошибках в реальном времени
Исследователи представили фреймворк Failure-Aware Retry (FAR), позволяющий робототехническим системам самостоятельно адаптироваться к сбоям во время выполнения задач. В отличие от стандартных методов повтора действий, которые часто приводят к зацикливанию на ошибках, FAR анализирует причины неудачи и корректирует стратегию поведения в процессе работы, исключая необходимость вмешательства человека для восстановления работоспособности.
SynLaD: генерация синтезируемых молекул через латентную диффузию
Исследователи представили SynLaD — фреймворк на базе латентной диффузии, предназначенный для генерации малых молекул с учетом их фармакофорных профилей. Система решает проблему поиска баланса между биологической активностью и химической синтезируемостью, объединяя задачи дизайна лигандов с ограничениями реальных химических реакций. Это позволяет ускорить разработку лекарственных препаратов, предлагая структуры, которые можно реально произвести в лаборатории.
ИИ обнаружил новый маркер риска внезапной сердечной смерти на ЭКГ
Исследователи применили методы машинного обучения для анализа данных ЭКГ и выявили ранее неизвестный биомаркер, предсказывающий риск внезапной сердечной смерти. Алгоритм проанализировал тысячи записей сердечного ритма, обнаружив скрытые закономерности, которые не фиксируются при стандартной клинической интерпретации. Это открытие может существенно повысить точность ранней диагностики опасных сердечно-сосудистых патологий и персонализировать профилактическое лечение пациентов.
Исследование OpenAgent: почему ИИ-агенты теряют эффективность в реальном мире
Исследователи проанализировали проблему генерализации ИИ-агентов при переходе от статических бенчмарков к динамическим условиям реального мира. Работа выявила высокую хрупкость моделей из-за распределительных сдвигов в запросах, наборах инструментов и контексте взаимодействия. Авторы представили концепцию OpenAgent, формализующую вызовы, с которыми сталкиваются системы при работе в непредсказуемой среде, где параметры задач постоянно меняются.
AlphaEarth: использование пространственного контекста для прогнозирования событий
Исследователи представили модель AlphaEarth, которая повышает точность прогнозирования пространственно-временных точечных процессов в условиях нехватки исторических данных. Интеграция внешних пространственных контекстных эмбеддингов в архитектуру log-Gaussian Cox process позволяет эффективно компенсировать дефицит локальных событий, обеспечивая более надежное предсказание в регионах с низкой плотностью данных, что критически важно для оперативного планирования экстренных служб.
Оптимизация квантовых ядер в задачах обучения с подкреплением
Исследователи представили новый подход к оптимизации в рамках гауссовских процессов (GP) с использованием квантовых ядер. Работа фокусируется на поиске баланса между выразительностью модели и её обучаемостью в условиях ограниченных вычислительных ресурсов эпохи NISQ. Метод позволяет эффективнее решать задачи квантового контроля и подготовки состояний, минимизируя вычислительные затраты при сохранении высокой точности предсказаний в пространстве воспроизводящего ядра (RKHS).
Meta представила неинвазивную систему декодирования речи из активности мозга
Исследовательское подразделение Meta (признана экстремистской организацией, деятельность запрещена в РФ) представило систему Brain2Qwerty v2, способную преобразовывать сигналы мозга в текст без хирургического вмешательства. Технология считывает магнитные поля через внешние датчики, позволяя восстанавливать печатаемые человеком фразы. Хотя до клинического применения для пациентов с параличом еще далеко, точность распознавания сигналов стабильно растет с каждой новой сессией записи данных.
Автоматизированная генерация правил для классификации химических реакций
Исследователи представили полностью автоматизированный конвейер для генерации верифицируемых правил классификации химических реакций. Система решает проблему «длинного хвоста» в химии, где ручное кодирование правил становится невозможным. Использование агентного подхода позволяет модели самостоятельно расширять базу знаний, адаптируясь к новым типам химических превращений и обеспечивая интерпретируемость результатов, что критически важно для планирования синтеза сложных молекул.