arXiv · 29.06.2026 ·Машинное обучение

PromptGNN-sim: новый метод глубокой интеграции графовых нейросетей и LLM

Исследователи представили PromptGNN-sim — архитектуру для работы с графами, обогащенными текстовыми данными (TAG). Метод решает проблему поверхностного взаимодействия между текстовой семантикой и структурой графа, используя глубокое слияние и выравнивание модальностей. Это позволяет значительно повысить точность предсказаний в задачах с разреженными связями и улучшить обобщающую способность моделей на новых графах.

Традиционные подходы к обработке графов с текстовыми атрибутами часто ограничиваются односторонней передачей данных, где LLM выступает лишь как генератор эмбеддингов для узлов. В результате модель не улавливает сложные зависимости между структурой связей и контекстом текста. PromptGNN-sim внедряет механизм итеративного выравнивания, который позволяет графовой нейросети (GNN) и языковой модели обмениваться информацией на нескольких уровнях абстракции.

Такой подход особенно эффективен в сценариях, где структура графа недостаточно информативна или содержит много шума. Благодаря глубокой интеграции, модель лучше справляется с задачами классификации узлов и предсказания связей, демонстрируя устойчивость к кросс-графовым изменениям. Метод открывает новые возможности для анализа сложных сетей, таких как социальные графы, научные цитирования или системы рекомендаций, где текстовое описание узла критически важно для понимания его роли.

Ключевые факты

PromptGNN-sim реализует глубокое слияние текстовых признаков и топологии графа через механизм итеративного выравнивания.
Архитектура устраняет ограничения традиционных методов, которые обрабатывают текст и структуру графа как независимые источники данных.
Метод показывает повышенную эффективность в условиях разреженной связности графа, где классические GNN теряют точность.
Решение улучшает кросс-графовую генерализацию, позволяя моделям эффективнее работать с данными, не участвовавшими в обучении.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Обзор состояния графовых нейронных сетей (GNN) в 2025 году Новый обзорный материал систематизирует развитие графовых нейронных сетей (GNN), которые превратились из узкоспециализированного метода в стандарт для работы с данными, имеющими реляционную структуру. Авторы анализируют дизайн-пространство архитектур, оценивают вычислительную эффективность механизмов передачи сообщений и определяют границы применимости графовых моделей в различных прикладных областях, от анализа социальных сетей до молекулярного моделирования. arXiv · Исследования и наука Новый метод интерпретируемости для временных графовых нейронных сетей Исследователи представили новый метод объяснения работы временных графовых нейронных сетей (ETGNN), основанный на анализе потоков информации, индуцированных признаками. Подход решает проблему «черного ящика» в сложных моделях, которые анализируют динамические данные, такие как социальные сети или рекомендательные системы, позволяя точно отслеживать, какие именно события и признаки влияют на итоговые предсказания нейросети. arXiv · Машинное обучение Новый метод обучения графовых нейросетей для повышения точности классификации Исследователи представили метод Boundary Embedding Shaping, направленный на решение проблемы структурной запутанности в графовых нейронных сетях (GNN). Основная сложность при работе с графами заключается в том, что модели часто агрегируют информацию от семантически нерелевантных соседей, что приводит к зашумлению векторных представлений узлов. Особенно остро эта проблема проявляется для узлов, расположенных вблизи границ классов, где структурный шум размывает границы принятия решений и снижает общую точность классификации. arXiv · Машинное обучение Large Language Gibbs: новый подход к вероятностному выводу в LLM Исследователи представили метод Large Language Gibbs, направленный на решение проблемы структурированного логического вывода с использованием больших языковых моделей. Основная сложность при работе с LLM заключается в том, что их внутренние знания часто трудно интерпретировать в рамках строгих вероятностных моделей. Новый подход предлагает использовать условные распределения языковой модели в качестве переходов в цепочке Гиббса, что позволяет модели выполнять более точные вычисления при работе с переменными, описывающими сложные системы. arXiv · Машинное обучение Новый метод адаптивного обучения для работы с графовыми данными Исследователи представили метод Adaptive Recurrent Message Passing, который решает проблему несовместимости предобученных моделей с графовыми структурами данных. Традиционные архитектуры часто оказываются неэффективными при работе с графами из-за фиксированной структуры нейронных сетей, которая не учитывает динамическую природу связей между узлами. Новый подход позволяет моделям адаптироваться непосредственно в процессе вычислений, используя рекуррентную передачу сообщений. Hacker News · Оркестрация агентов Graph of Thoughts: новый подход к решению сложных задач через графовые структуры Исследователи представили фреймворк Graph of Thoughts (GoT), который расширяет возможности LLM при решении комплексных задач. В отличие от линейных цепочек рассуждений, GoT позволяет модели комбинировать произвольные мысли в графовые структуры. Это дает возможность объединять результаты нескольких этапов обработки, возвращаться к предыдущим шагам и оптимизировать процесс поиска решения для сложных логических и алгоритмических задач. arXiv · Исследования и наука Метод повышения точности рассуждений LLM при работе с неполными графами знаний Исследователи представили теоретическую модель для улучшения логических рассуждений больших языковых моделей (LLM) при работе с неполными графами знаний. Авторы предлагают математический аппарат для привязки траекторий рассуждений к фрагментарным данным, что позволяет моделям эффективнее интерпретировать контекст, когда доступная информация в графе ограничена или содержит пробелы, снижая вероятность галлюцинаций при извлечении фактов. arXiv · Исследования и наука Новый метод обучения LLM решению сложных логических задач с битовыми манипуляциями Исследователи представили новый алгоритмический подход, который позволяет большим языковым моделям эффективнее справляться с задачами на логический вывод и битовые манипуляции. В рамках конкурса NVIDIA Nemotron Model Reasoning Challenge авторы работы сфокусировались на поиске скрытых правил, которые преобразуют входные бинарные строки в выходные данные. Традиционные методы часто заставляют модели имитировать сложные булевы вычисления, что приводит к ошибкам при работе с комбинаторными задачами. arXiv · Исследования и наука Симплектические нейронные сети для моделирования гамильтоновых систем Исследователи представили архитектуру симплектических нейронных сетей (Symplectic Neural Networks), предназначенную для аппроксимации обобщенных гамильтоновых систем. Модель интегрирует физические законы сохранения энергии непосредственно в структуру нейросети, что позволяет точнее предсказывать долгосрочное поведение динамических систем на основе зашумленных данных, значительно превосходя стандартные методы машинного обучения в задачах физического моделирования. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели.

← Все материалы