Исследования и наука
Механистическая интерпретируемость: почему LLM-судьи предвзяты на уровне скрытых состояний
Исследователи представили новый подход к анализу предвзятости моделей, выступающих в роли судей (LLM-as-judge). Вместо анализа входных данных и выходных оценок, авторы изучили скрытые состояния нейросетей. Выяснилось, что систематические ошибки судейства формируются на уровне внутренних представлений модели, что позволяет выявлять и корректировать предвзятость более эффективно, чем через простое изменение промптов.
Новый подход к интерпретируемости видео-моделей через визуальное обоснование
Исследователи представили метод Evidence-Backed Video Question Answering, решающий проблему «черного ящика» в современных видео-LLM. В отличие от стандартных моделей, которые выдают только текстовые ответы, новая архитектура обеспечивает верифицируемое визуальное обоснование. Это позволяет системе точно отслеживать динамические объекты в видео, включая случаи перекрытия и сложные деформации, что значительно повышает прозрачность и надежность работы ИИ с видеоконтентом.
Gauntlet: новый подход к глубокому анализу технических публикаций через ИИ
Исследователи представили Gauntlet — пайплайн для глубокого технического анализа научных статей по компьютерной архитектуре. Система выходит за рамки простого суммаризирования, используя пять независимых экспертных агентов и состязательный синтез для выявления скрытых допущений, оценки механизмов и определения значимости вклада работы в более широком контексте области.
Исследование: эффективность ИИ-агентов в сравнении с традиционными моделями
Новое исследование показало, что автономные ИИ-агенты значительно уступают традиционным специализированным ИИ-системам в плане вычислительной эффективности. В ходе экспериментов выяснилось, что для выполнения идентичных задач агенты требуют в 136,5 раз больше вычислительных ресурсов. Этот разрыв обусловлен избыточностью агентных циклов рассуждения и постоянным обращением к контексту при принятии решений.
Каскадная архитектура на базе LoRA для распознавания действий в медицине
Исследователи представили новый фреймворк для распознавания действий в медицинских тренировочных средах, использующий каскадную адаптацию LoRA для мультимодального анализа. Метод позволяет эффективно интегрировать различные типы данных — видео, аудио и сенсорные показатели — поэтапно, сохраняя обученные ранее компоненты и избегая необходимости полного переобучения модели при добавлении новых модальностей.
Исследование внутренней архитектуры Transformer: анализ точности весов
Работа «A Transformer Is All You Need PT 2L: Precision Brain Surgery» представляет глубокий анализ механизмов работы трансформеров через призму высокоточной настройки параметров. Авторы исследуют, как изменение конкретных весов внутри нейронной сети влияет на итоговую производительность модели, предлагая методы «хирургического» вмешательства в структуру для оптимизации вычислений и повышения точности без необходимости полного переобучения.
Новый метод причинно-следственного анализа без допущения о верности данных
Исследователи представили алгоритм для построения сетей причинно-следственных связей, который обходит классическое ограничение «верности» (faithfulness). Традиционные методы часто ошибаются, если данные нарушают это допущение, однако новый подход использует исключительно интервенционные данные для ориентации связей. Это позволяет строить более точные модели зависимостей между переменными в сложных системах, где наблюдаемые данные не всегда отражают истинную структуру причинности.
Скрытые структуры в нейросетях: как случайные рисунки сохраняются после обучения
Исследователи обнаружили, что специфические визуальные паттерны, заложенные в веса нейронной сети до начала обучения, могут сохраняться даже после завершения процесса тренировки. Этот феномен, получивший название «рисунки в нетренированных сетях», ставит под сомнение классическое представление о том, что обучение полностью стирает исходную случайную инициализацию параметров модели, замещая её полезными признаками.
Фреймворк человеко-ориентированного ИИ в лексикографии
Исследователи представили концепцию человеко-ориентированного ИИ (HCAI) для автоматизации лексикографических задач. Новый подход направлен на интеграцию генеративных моделей в процесс создания словарей при сохранении контроля экспертов-лингвистов. Методология призвана сбалансировать эффективность ИИ-инструментов с необходимостью защиты культурного и языкового разнообразия, предотвращая полную автоматизацию интеллектуального труда в академической и прикладной филологии.
StoryTeller: новый подход к генерации аудиодескрипций для длинных видео
Исследователи представили StoryTeller — метод генерации аудиодескрипций для длинных видео, не требующий дополнительного обучения моделей. В отличие от стандартных VLM, которые анализируют короткие фрагменты изолированно, StoryTeller сохраняет контекст сюжета, персонажей и их взаимосвязи на протяжении всего фильма. Это позволяет создавать связное повествование, необходимое для полноценного восприятия контента людьми с нарушениями зрения.
Новый метод анализа внутренних состояний в селективных State-Space моделях
Исследователи представили математический инструментарий для анализа работы селективных State-Space моделей (SSM), таких как Mamba. Новый метод позволяет точно измерять вклад отдельных режимов в обработку информации, используя диагональную структуру матрицы состояний. Это дает возможность визуализировать, как модель распределяет данные по каналам и временным окнам, выявляя механизмы «миграции» входных сигналов между слоями.
Как забывание помогает ИИ-агентам достигать концептуального согласия
Исследователи изучили, как механизмы забывания влияют на формирование общего языка и концептуальное выравнивание у ИИ-агентов. В отличие от классических моделей, предполагающих полное сотрудничество, эксперименты проводились в условиях игры на координацию без общих интересов. Выяснилось, что ограниченная память способствует более быстрому достижению консенсуса в группах, предотвращая переобучение на устаревших или нерелевантных данных.
Влияние параметра температуры на идеологическую предвзятость в RAG-системах
Исследователи проанализировали, как параметр температуры (temperature) в LLM влияет на трансляцию идеологических установок при использовании RAG. Выяснилось, что при низких значениях температуры модели склонны к буквальному воспроизведению предвзятости из найденных документов, тогда как повышение температуры может как усиливать, так и нивелировать идеологический окрас ответов в зависимости от контекста и структуры запроса.
Фреймворк для обеспечения объяснимости ИИ в инженерных процессах
Исследователи представили новый фреймворк для проектирования требований (Requirements Engineering, RE), ориентированный на обеспечение объяснимости ИИ-систем в критически важных отраслях. На примере Daimler Truck авторы проанализировали, как текущие инженерные практики справляются с необходимостью интерпретируемости моделей, и предложили структурированный подход для интеграции требований прозрачности на всех этапах жизненного цикла разработки сложных систем.
Новое теоретическое исследование архитектуры Transformer через C-RASP
Исследователи представили теоретическую модель C-RASP для анализа выразительности и сложности обучения трансформеров. Работа фокусируется на концепции «узких учителей» (narrow teachers), позволяющих понять, какие задачи могут эффективно решать LLM при ограниченных вычислительных ресурсах. Авторы доказывают, что выбор архитектурных весов напрямую влияет на способность моделей аппроксимировать сложные алгоритмические функции и минимизировать ошибку выборки.
Новый метод композиции экспертов в дискретных диффузионных моделях
Исследователи представили новый подход к композиции экспертов в дискретных диффузионных моделях, направленный на улучшение генерации в задачах сложного логического вывода. Метод переходит от глобального смешивания весов к факторному подходу, что позволяет более точно настраивать динамику диффузии и эффективнее комбинировать навыки нескольких предобученных моделей для решения задач, выходящих за рамки их исходных обучающих данных.
Новое исследование ставит под сомнение классические подходы в теории игр для ИИ-агентов
Авторы научной работы из arXiv подвергли критике использование статических концепций равновесия (Нэша, коррелированного и грубого коррелированного равновесия) в алгоритмической теории игр. Исследование показывает, что сведение обучения мультиагентных систем к поиску статических состояний и анализу «черного ящика» регрета скрывает реальную динамику неравновесных процессов, что ограничивает эффективность современных моделей при взаимодействии множества автономных агентов.
Применение многоагентного обучения с подкреплением в сетях C-V2X
Исследователи представили новый подход к управлению сетевыми ресурсами в системах C-V2X (Cellular Vehicle-to-Everything) с использованием многоагентного обучения с подкреплением (MARL). Метод оптимизирует выбор технологии радиодоступа (RAT) для транспортных средств, обеспечивая баланс между жесткими требованиями к задержке и надежности передачи данных, что критически важно для современных сценариев совместного вождения и обмена сенсорной информацией между автомобилями.
Исследование MET: адаптация моральных рассуждений ИИ к культурным контекстам
Исследователи представили фреймворк MET (Multilingual Evaluation and reasoning Framework), направленный на устранение культурной предвзятости в языковых моделях. В отличие от стандартных методов, использующих прямой перевод англоязычных тестов, MET учитывает лингвистические и культурные нюансы, позволяя ИИ принимать более обоснованные моральные решения в различных мировых сообществах, что критически важно для глобального внедрения систем ИИ.
NeuralActuator: повышение точности управления роботами через нейросетевое моделирование
Исследователи представили NeuralActuator — метод нейросетевого моделирования динамики приводов, решающий проблему расхождения между симуляцией и реальностью в робототехнике. Традиционные линейные модели не учитывают трение, гистерезис и тепловые эффекты, что критично для бюджетных платформ. Новый подход позволяет более точно предсказывать выходной крутящий момент, значительно повышая эффективность обучения политик управления и точность выполнения команд в сложных физических условиях.
CatRetriever: новый метод поиска материалов для катализа с помощью ИИ
Исследователи представили CatRetriever — модель контрастного обучения для поиска оптимальных структур катализаторов в химическом пространстве. Система решает проблему сопоставления локальных поверхностных структур (slab) с объемными свойствами материалов (bulk), что критически важно для ускорения генеративного дизайна катализаторов. Новый подход позволяет эффективнее фильтровать и отбирать перспективные соединения для гетерогенного катализа, сокращая вычислительные затраты при поиске новых материалов.
Агентная система для выявления долгосрочных мошеннических схем
Исследователи представили агентную систему для борьбы с мошенничеством в мессенджерах, способную анализировать диалоги длительностью в несколько недель. В отличие от традиционных инструментов, фокусирующихся на отдельных сообщениях, новая архитектура использует память на основе суммаризации. Это позволяет системе выявлять паттерны постепенного установления доверия и попытки кражи данных или средств, характерные для сложных атак социальной инженерии.
Асимметрия восприятия и генерации в LLM: анализ вероятностей токенов
Исследователи изучили, существует ли в больших языковых моделях функциональное различие между процессами восприятия и генерации текста, аналогичное психолингвистическим моделям человека. Несмотря на то что LLM используют единый механизм предсказания следующего токена для обеих задач, анализ вероятностей показывает наличие специфических паттернов, которые позволяют разграничить «входящую» обработку информации и «исходящую» генерацию контента внутри архитектуры трансформера.
Q2SAR: применение квантового машинного обучения для поиска новых лекарств
Исследователи представили метод Q2SAR, использующий квантовое обучение с множественными ядрами (Multiple Kernel Learning) для моделирования количественной взаимосвязи «структура-активность» в фармацевтике. Новый подход позволяет эффективнее обрабатывать сложные нелинейные зависимости в молекулярных данных, преодолевая ограничения классических вычислительных моделей при прогнозировании токсичности и биодоступности перспективных химических соединений на ранних этапах разработки лекарственных препаратов.