arXiv · 17.06.2026 ·Машинное обучение

Геометрия собственных чисел в анализе семантических атак на ИИ

Исследователи представили новый теоретический подход к изучению уязвимостей моделей классификации, основанный на анализе геометрии собственных чисел. Работа фокусируется на проблеме семантических состязательных атак, при которых незначительные перефразирования текста приводят к изменению предсказаний модели, несмотря на сохранение исходного смысла и близость векторных представлений.

Существующие методы оценки устойчивости нейросетей часто опираются на эмпирические тесты или анализ одной конкретной модели. Авторы статьи предлагают математический аппарат, позволяющий оценить, как именно семантические изменения трансформируют внутреннее пространство признаков модели. Использование аппарата обобщенных собственных чисел помогает выявить критические направления в латентном пространстве, где даже минимальные семантические сдвиги провоцируют ошибки классификации.

Данное исследование особенно актуально для финансовых систем, где точность анализа тональности текста критически важна для принятия решений. Предложенный метод позволяет глубже понять природу ошибок в задачах обработки естественного языка и создает базу для разработки более надежных архитектур, устойчивых к манипуляциям с входными данными, которые сохраняют семантическую эквивалентность для человека, но сбивают алгоритмы.

Источник: arXiv

Похожие материалы

arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Безопасность и алайнмент Фреймворк для верифицируемого анализа поведения ИИ Исследователи представили методологию для систематической проверки того, как именно нейросетевые модели приходят к своим выводам. Основная проблема современных систем заключается в их «черном ящике»: даже при правильных ответах процесс рассуждения остается непрозрачным. Новый подход предлагает использовать формализованные планы анализа, которые позволяют декомпозировать сложные задачи на проверяемые этапы. arXiv · Исследования и наука Проблема деградации семантического пространства в долгосрочных ИИ-сессиях Исследователи проанализировали 391 последовательную сессию взаимодействия с большими языковыми моделями, чтобы выявить причины снижения качества ответов при длительной работе. Традиционный подход к решению проблемы «концептуального дрейфа» — увеличение контекстного окна, добавление жестких правил в системные промпты и внедрение символьных идентификаторов — зачастую приводит к обратным результатам. Вместо стабилизации системы такие методы провоцируют накопление ошибок, которые авторы называют «болезнью индекса». arXiv · Исследования и наука Геометрический анализ разрывов в архитектурах Sparse Mixture-of-Experts Исследователи представили новый математический анализ архитектур Sparse Mixture-of-Experts (SMoE), которые лежат в основе большинства современных больших языковых и мультимодальных моделей. Основная проблема таких систем заключается в механизме маршрутизации Top-k, который динамически выбирает активные нейронные сети для обработки конкретного токена. Этот процесс делает функцию преобразования данных в модели математически разрывной. Hacker News · Исследования и наука Использование языковых моделей для картирования нейронных основ человеческой речи Исследователи представили работу, опубликованную в журнале Nature, в которой нейросетевые архитектуры применяются для анализа механизмов обработки языка в человеческом мозге. Ученые использовали большие языковые модели в качестве вычислительных инструментов для сопоставления паттернов нейронной активности с лингвистическими структурами. Это позволило выявить, как именно мозг кодирует семантические и синтаксические компоненты речи в режиме реального времени. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. The Decoder · Исследования и наука Критика методологии ИИ-исследований через симуляцию в Age of Empires II Исследователь Microsoft продемонстрировал необычный подход к анализу современной научной литературы в области искусственного интеллекта, создав работающую нейронную сеть внутри редактора карт стратегии Age of Empires II. В качестве «нейронов» и связей в этой системе выступили игровые объекты: козы, мосты и ледяные рампы. Этот проект стал визуальной метафорой для критики текущих методов оценки больших языковых моделей. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Исследования и наука Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию.

← Все материалы