Hacker News · 22.06.2026 ·Оценка и бенчмарки

Исследование: каких людей «знают» современные языковые модели

Проект Who's in the weights представил результаты масштабного анализа знаний 13 популярных языковых моделей о реальных личностях. Исследователи протестировали, насколько точно нейросети идентифицируют известных людей, основываясь исключительно на данных, заложенных в их веса во время обучения. Анализ охватывает как проприетарные модели, так и открытые решения, позволяя оценить глубину «памяти» моделей о биографических данных.

Методология исследования фокусируется на способности моделей соотносить имена с ключевыми фактами биографии и профессиональной деятельностью. Авторы проекта создали интерактивный интерфейс, который наглядно демонстрирует различия в охвате знаний между моделями разных архитектур и размеров. Это позволяет увидеть, как именно меняется «кругозор» нейросетей в зависимости от объема обучающей выборки и параметров настройки.

Полученные данные дают представление о том, какие группы людей чаще попадают в поле зрения разработчиков ИИ и какие пробелы существуют в знаниях современных систем. Подобные бенчмарки помогают лучше понять ограничения моделей в контексте фактологической точности и репрезентативности данных, что критически важно для оценки надежности ИИ в задачах, требующих работы с биографической информацией и историческим контекстом.

Источник: Hacker News

Похожие материалы

The Decoder · Оценка и бенчмарки Сервис In the Weights анализирует глубину знаний ИИ о личностях Бывшие сотрудники OpenAI запустили платформу In the Weights, которая позволяет оценить, насколько глубоко информация о конкретных людях «зашита» в веса популярных языковых моделей. Инструмент анализирует способность нейросетей воспроизводить факты о личностях, основываясь исключительно на данных, полученных в процессе обучения. Пользователи могут проверить, как модель «помнит» того или иного человека, и увидеть соответствующий показатель силы связи. Hacker News · Исследования и наука Использование языковых моделей для картирования нейронных основ человеческой речи Исследователи представили работу, опубликованную в журнале Nature, в которой нейросетевые архитектуры применяются для анализа механизмов обработки языка в человеческом мозге. Ученые использовали большие языковые модели в качестве вычислительных инструментов для сопоставления паттернов нейронной активности с лингвистическими структурами. Это позволило выявить, как именно мозг кодирует семантические и синтаксические компоненты речи в режиме реального времени. Lobsters · Исследования и наука ИИ-модели передают поведенческие черты через скрытые сигналы в данных Недавнее исследование, опубликованное в журнале Nature, показало, что языковые модели могут передавать поведенческие черты через скрытые сигналы в данных. Ученые обнаружили, что модели, обученные на данных, содержащих определенные поведенческие паттерны, могут воспроизводить эти паттерны даже в новых, ранее не встречавшихся контекстах. arXiv · Оценка и бенчмарки Исследование StylisticBias: как визуальные стили влияют на предвзятость мультимодальных ИИ Исследователи представили бенчмарк StylisticBias, предназначенный для анализа того, как визуальные признаки на изображениях провоцируют социальные предубеждения в мультимодальных больших языковых моделях (MLLM). В отличие от предыдущих подходов, которые сравнивали реакции моделей на разных людей, новый метод изолирует конкретные визуальные стилистические сигналы, такие как одежда, прическа или аксессуары, сохраняя при этом идентичность субъекта неизменной. Hacker News · Модели и релизы Исследование: динамика развития языковых моделей Исследователи из Artificial Analysis провели анализ динамики развития языковых моделей, включая модели от Anthropic и Mistral. В исследовании рассматривается, как меняется интеллект моделей с течением времени, что позволяет лучше понять их эволюцию и потенциал. Hacker News · Память и RAG ИИ-модели проходят стандартный тест Тьюринга Исследование, опубликованное в журнале PNAS, показало, что крупные языковые модели успешно проходят стандартный трёхсторонний тест Тьюринга. В эксперименте участвовали 1600 человек, которые общались с ИИ-моделями и людьми, а затем пытались определить, кто из собеседников — человек, а кто — ИИ. Результаты показали, что участники не смогли надёжно различить ИИ и человека, что свидетельствует о высоком уровне человеко-подобности современных языковых моделей. Hacker News · Исследования и наука Исследование: языковые модели и человеческий мозг используют схожие концептуальные пространства Новое исследование, опубликованное на arXiv, показывает, что языковые модели (LLMs) и человеческий мозг используют схожие концептуальные пространства для обработки информации, даже если они работают на разных языках. Это открытие может иметь значительные последствия для разработки ИИ-агентов, так как оно подтверждает, что языковые модели способны моделировать когнитивные процессы, аналогичные человеческим. arXiv · Исследования и наука Исследование: как ИИ-модели теряют когнитивные способности в длительных диалогах Новое исследование на arXiv обращает внимание на проблему когнитивного увядания (cognitive atrophy) в поведении больших языковых моделей (LLM). Авторы отмечают, что существующие бенчмарки оценивают знания, безопасность и качество ответов, но не учитывают, как модели ведут себя в длительных, эмоционально насыщенных диалогах. The Decoder · Исследования и наука Критика методологии ИИ-исследований через симуляцию в Age of Empires II Исследователь Microsoft продемонстрировал необычный подход к анализу современной научной литературы в области искусственного интеллекта, создав работающую нейронную сеть внутри редактора карт стратегии Age of Empires II. В качестве «нейронов» и связей в этой системе выступили игровые объекты: козы, мосты и ледяные рампы. Этот проект стал визуальной метафорой для критики текущих методов оценки больших языковых моделей. arXiv · Исследования и наука Метод разрешения конфликтов знаний в LLM при работе с внешними данными Исследователи представили новый подход к решению проблемы противоречий между внутренними параметрическими знаниями языковых моделей и информацией, поступающей из внешнего контекста. В современных системах, использующих RAG или длинные промпты, модель часто сталкивается с ситуацией, когда данные в запросе пользователя противоречат тому, что было «выучено» моделью в процессе обучения. Это приводит к галлюцинациям или снижению точности ответов, так как модель не может эффективно приоритизировать источники данных.

← Все материалы