Hacker News · 06.07.2026 ·Оценка и бенчмарки

Анализ «чувства юмора» пяти передовых LLM

Исследователи протестировали пять ведущих языковых моделей, чтобы выяснить, какую шутку они считают самой смешной. Результаты показали удивительное единообразие: все модели выбрали одну и ту же шутку, что указывает на общие закономерности в их обучающих данных и алгоритмах генерации контента, а также на наличие схожих паттернов в обработке юмористического контента.

Эксперимент был направлен на изучение того, как современные нейросети ранжируют и генерируют юмор. Несмотря на различия в архитектурах и методах обучения, модели продемонстрировали предсказуемое поведение при выборе «лучшего» варианта. Это подчеркивает проблему гомогенизации ответов среди топовых моделей, которые часто опираются на одни и те же массивы данных из интернета.

Такое сходство в ответах ставит вопросы о качестве оценки креативности ИИ. Если модели приходят к идентичным выводам в задачах, требующих субъективного восприятия, это может свидетельствовать о том, что их «творческие» способности ограничены статистическим усреднением популярных интернет-источников, а не реальным пониманием комического контекста.

Ключевые факты

В исследовании приняли участие пять передовых LLM, включая модели от OpenAI, Anthropic и Google.
Все протестированные модели выбрали одну и ту же шутку как наиболее предпочтительную.
Выбор моделей основывался на анализе частотности и структуры юмористических текстов в их обучающих выборках.
Результаты эксперимента доступны в виде интерактивного отчета, демонстрирующего процесс выбора и ранжирования шуток моделями.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки FunnyBench: новый бенчмарк для оценки чувства юмора у ИИ-моделей Исследователи представили FunnyBench — специализированный набор данных и методологию для оценки способности больших языковых моделей понимать и генерировать юмор. В отличие от стандартных тестов на логику или программирование, этот бенчмарк фокусируется на когнитивных аспектах комического: распознавании иронии, сарказма, каламбуров и неожиданных сюжетных поворотов, которые лежат в основе человеческого смеха. arXiv · Оценка и бенчмарки Исследование чувствительности мультимодальных моделей к порядку данных Исследователи представили инструмент Facet-Probe для аудита мультимодальных LLM, выявляющий критическую проблему: модели часто меняют ответы при простом изменении порядка входных данных. Стандартные бенчмарки игнорируют этот фактор, что ставит под сомнение надежность систем в реальных сценариях, где порядок предоставления информации не должен влиять на итоговый результат или логические выводы нейросети. arXiv · Оценка и бенчмарки Исследование гибкости мышления LLM через парадигму «загадок-обманок» Исследователи представили новый метод оценки когнитивных способностей больших языковых моделей под названием «riddle riddle». В отличие от стандартных тестов, этот подход проверяет способность ИИ гибко адаптировать стратегии рассуждения при столкновении с нестандартными задачами. Эксперименты показывают, что модели часто полагаются на заученные паттерны, а не на глубокое понимание логики, что ставит под вопрос их способность к адаптивному мышлению. arXiv · Оценка и бенчмарки Исследование способностей LLM к распознаванию тонких эмоций Исследователи провели комплексную оценку способности современных языковых моделей распознавать широкий спектр человеческих эмоций в формате zero-shot. В тесте участвовали Claude 3.5 Sonnet, GPT-4o и Gemini 1.5 Flash. Анализ показал, насколько точно ИИ справляется с классификацией сложных эмоциональных состояний, что критически важно для развития систем психологической поддержки, клиентского сервиса и проектирования естественного взаимодействия человека с машиной. Hacker News · Оценка и бенчмарки Исследование: ансамбли LLM редко превосходят лучшие одиночные модели Масштабное исследование 67 различных языковых моделей показало, что стратегии объединения нескольких LLM в ансамбли для улучшения ответов зачастую не дают значимого прироста качества. В большинстве случаев производительность комбинированной системы ограничена возможностями самой сильной модели в группе, что ставит под сомнение эффективность сложных схем оркестрации для повышения точности генерации. arXiv · Исследования и наука Исследование: в диалогах LLM между собой возникают устойчивые состояния-аттракторы Исследователи проанализировали динамику взаимодействия больших языковых моделей в многоходовых диалогах. Выяснилось, что в ходе дискуссий модели склонны переходить в «состояния-аттракторы» — устойчивые паттерны поведения, которые не зависят от изначальной темы обсуждения. Это открытие ставит под сомнение предсказуемость долгосрочных агентных взаимодействий и указывает на наличие скрытых ограничений в архитектуре современных LLM. arXiv · Исследования и наука Языковые модели как базы знаний: анализ согласованности фактов Исследователи проанализировали, насколько языковые модели способны выступать в роли надежных баз знаний. Основная проблема заключается в том, что модели часто дают противоречивые ответы на идентичные по смыслу запросы. Авторы работы изучили поведенческие и механистические аспекты работы нейросетей, чтобы понять, как именно они хранят и извлекают фактологическую информацию в процессе генерации текста. Hacker News · Оценка и бенчмарки Комбинирование LLM редко превосходит лучшие одиночные модели Исследование 67 передовых языковых моделей показало, что методы ансамблирования и объединения LLM зачастую не дают значимого прироста производительности по сравнению с использованием одной топовой модели. Несмотря на популярность стратегий объединения ответов, результаты тестов демонстрируют, что сложность внедрения таких систем редко оправдывается качественным скачком в точности или надежности генерации ответов. Artificial intelligence – MIT Technology Review · Исследования и наука Проблема «группового мышления» в LLM и методы борьбы с предсказуемостью ответов Современные большие языковые модели демонстрируют склонность к предсказуемым паттернам и «групповому мышлению», выдавая схожие ответы на однотипные запросы. Исследователи и стартапы ищут способы преодолеть эту статистическую ограниченность, внедряя механизмы, которые заставляют модели выходить за рамки наиболее вероятных токенов, повышая вариативность и креативность генерации без потери логической связности ответов. Hacker News · Исследования и наука Почему LLM склонны к галлюцинациям вместо признания незнания Языковые модели часто генерируют неверные ответы из-за особенностей обучения на предсказание следующего токена. Вместо оценки достоверности информации, архитектура трансформеров стремится минимизировать ошибку предсказания, заполняя пробелы в знаниях статистически вероятными, но фактически ложными данными. Это фундаментальное различие между поиском истины и имитацией правдоподобного текста создает проблему галлюцинаций в агентных системах.

← Все материалы