arXiv · 24.06.2026 ·Исследования и наука

Риски использования лексиконов для анализа риторики в социальных науках

Исследователи выявили критическую уязвимость в методах вычислительных социальных наук: использование ключевых слов для оценки риторической позиции часто приводит к ложным выводам. Анализ 85 интервью показал, что статистически значимые корреляции между эмоциональной окраской и уверенностью высказываний могут быть лишь артефактом инструмента измерения, а не реальной характеристикой текста, что ставит под сомнение точность многих текущих исследований.

Авторы работы продемонстрировали, что стандартные лексиконы, основанные на частотном анализе ключевых слов, игнорируют контекстуальные нюансы и семантическую структуру языка. В результате алгоритмы часто «обнаруживают» закономерности там, где их нет, из-за специфического подбора слов в словарях, которые искусственно связывают определенные лексемы с заданными категориями уверенности или аффекта.

Данное исследование подчеркивает необходимость пересмотра подходов к анализу тональности и риторики в больших данных. Вместо опоры на простые списки слов ученые предлагают переходить к более сложным методам, учитывающим синтаксические связи и прагматику высказываний, чтобы избежать систематических ошибок в интерпретации результатов социальных исследований.

Ключевые факты

Исследование базируется на анализе 85 интервью четырех публичных интеллектуалов, охватывающих период с 2016 по 2026 год.
Выявлена ложная корреляция между негативным аффектом и эмфатической уверенностью, возникающая исключительно из-за ограничений используемых лексиконов.
Показано, что статистически значимые эффекты в вычислительных социальных науках могут быть полностью обусловлены несовершенством измерительного инструмента.
Работа призывает к отказу от упрощенных методов подсчета ключевых слов в пользу моделей, учитывающих контекстуальную семантику.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Исследование: риски использования LLM в поиске причинно-следственных связей Новая научная работа анализирует эффективность использования больших языковых моделей для задач поиска причинно-следственных связей (causal discovery). Исследователи изучили подходы, при которых модели просят определять направления связей, предлагать структуру графов или использовать их выводы в качестве априорных ограничений для статистических алгоритмов. Основной вывод заключается в том, что текущие методы часто подменяют строгий анализ данных простыми текстовыми ассоциациями, заложенными в веса моделей. Hacker News · Исследования и наука ИИ способствует научной монокультуре: анализ цитирований Исследование, опубликованное в Nature, указывает на риск снижения разнообразия в научной среде из-за повсеместного внедрения ИИ. Анализ миллионов публикаций показал, что использование алгоритмов для написания и обработки текстов приводит к стандартизации лексики и сужению тематического охвата. Это создает «научную монокультуру», где новые идеи вытесняются предсказуемыми результатами, соответствующими паттернам обучающих выборок моделей. arXiv · Оценка и бенчмарки Исследование StylisticBias: как визуальные стили влияют на предвзятость мультимодальных ИИ Исследователи представили бенчмарк StylisticBias, предназначенный для анализа того, как визуальные признаки на изображениях провоцируют социальные предубеждения в мультимодальных больших языковых моделях (MLLM). В отличие от предыдущих подходов, которые сравнивали реакции моделей на разных людей, новый метод изолирует конкретные визуальные стилистические сигналы, такие как одежда, прическа или аксессуары, сохраняя при этом идентичность субъекта неизменной. arXiv · Машинное обучение Геометрия собственных чисел в анализе семантических атак на ИИ Исследователи представили новый теоретический подход к изучению уязвимостей моделей классификации, основанный на анализе геометрии собственных чисел. Работа фокусируется на проблеме семантических состязательных атак, при которых незначительные перефразирования текста приводят к изменению предсказаний модели, несмотря на сохранение исходного смысла и близость векторных представлений. arXiv · Оценка и бенчмарки Проблемы методологии оценки социальных предвзятостей в LLM Исследователи проанализировали текущие подходы к оценке социальных предвзятостей в больших языковых моделях и выявили критическую фрагментацию методологий. Разрозненность методов приводит к противоречивым результатам при тестировании одних и тех же моделей. Авторы работы предлагают унифицированную структуру для проведения бенчмарков, которая позволяет стандартизировать оценку безопасности и этичности ИИ-систем, внедряемых в критически важные сферы деятельности. arXiv · Оценка и бенчмарки Исследование: современные голосовые ИИ-системы игнорируют эмоциональную окраску речи Исследователи проанализировали работу четырех передовых систем голосового ИИ: GPT-4o (OpenAI), Gemini 1.5 Flash (Google), а также Qwen2.5 Omni Plus и Omni Flash (Alibaba). Выяснилось, что модели фокусируются исключительно на текстовом содержании запроса, полностью игнорируя паралингвистические сигналы — интонацию, темп и эмоциональную окраску, которые критически важны для понимания контекста и намерений говорящего. arXiv · Исследования и наука Исследование: как ИИ-модели теряют когнитивные способности в длительных диалогах Новое исследование на arXiv обращает внимание на проблему когнитивного увядания (cognitive atrophy) в поведении больших языковых моделей (LLM). Авторы отмечают, что существующие бенчмарки оценивают знания, безопасность и качество ответов, но не учитывают, как модели ведут себя в длительных, эмоционально насыщенных диалогах. The Decoder · Исследования и наука Критика методологии ИИ-исследований через симуляцию в Age of Empires II Исследователь Microsoft продемонстрировал необычный подход к анализу современной научной литературы в области искусственного интеллекта, создав работающую нейронную сеть внутри редактора карт стратегии Age of Empires II. В качестве «нейронов» и связей в этой системе выступили игровые объекты: козы, мосты и ледяные рампы. Этот проект стал визуальной метафорой для критики текущих методов оценки больших языковых моделей. Hacker News · Исследования и наука ИИ-модели превзошли экспертов в навыках убеждения Новое исследование показало, что современные языковые модели способны эффективнее убеждать людей в своей правоте, чем профессиональные эксперты. В ходе экспериментов участники, взаимодействовавшие с ИИ, чаще меняли свое мнение по сложным вопросам, чем те, кто обсуждал темы с подготовленными специалистами. Результаты подчеркивают растущую способность нейросетей влиять на человеческие убеждения и принимать участие в дискуссиях. arXiv · Исследования и наука Исследование методов отслеживания влияния обучающих данных на ответы LLM Исследователи проанализировали два ключевых подхода к интерпретации поведения больших языковых моделей: оценку сходства данных (data-similarity) и оценку влияния данных (data-influence). Первый метод основан на поиске семантической близости между запросом и обучающей выборкой, что требует значительно меньше вычислительных ресурсов. Второй метод направлен на определение того, как конкретные примеры из обучающего набора напрямую меняют веса модели и влияют на итоговый результат, что считается более точным, но трудоемким процессом.

← Все материалы