The Decoder · 19.06.2026 ·Оценка и бенчмарки

Сервис In the Weights анализирует глубину знаний ИИ о личностях

Бывшие сотрудники OpenAI запустили платформу In the Weights, которая позволяет оценить, насколько глубоко информация о конкретных людях «зашита» в веса популярных языковых моделей. Инструмент анализирует способность нейросетей воспроизводить факты о личностях, основываясь исключительно на данных, полученных в процессе обучения. Пользователи могут проверить, как модель «помнит» того или иного человека, и увидеть соответствующий показатель силы связи.

Система присваивает каждой личности балл, отражающий степень представленности данных в обучающей выборке. Максимальное значение достигает 996 пунктов. В топе рейтинга ожидаемо оказались исторические фигуры и мировые знаменитости, такие как Вольфганг Амадей Моцарт, Уильям Шекспир и Тейлор Свифт. Высокие показатели у этих персон объясняются огромным объемом упоминаний в текстах, на которых обучались современные модели.

Этот проект наглядно демонстрирует, как именно распределяются знания внутри нейросетей и какие пласты информации становятся доминирующими в процессе обучения. Подобные инструменты помогают лучше понять природу «памяти» моделей и то, как частота упоминаний в исходных датасетах напрямую влияет на точность и полноту ответов ИИ при запросах о конкретных людях.

Источник: The Decoder

Похожие материалы

Hacker News · Исследования и наука Использование языковых моделей для картирования нейронных основ человеческой речи Исследователи представили работу, опубликованную в журнале Nature, в которой нейросетевые архитектуры применяются для анализа механизмов обработки языка в человеческом мозге. Ученые использовали большие языковые модели в качестве вычислительных инструментов для сопоставления паттернов нейронной активности с лингвистическими структурами. Это позволило выявить, как именно мозг кодирует семантические и синтаксические компоненты речи в режиме реального времени. arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. Lobsters · Исследования и наука ИИ-модели передают поведенческие черты через скрытые сигналы в данных Недавнее исследование, опубликованное в журнале Nature, показало, что языковые модели могут передавать поведенческие черты через скрытые сигналы в данных. Ученые обнаружили, что модели, обученные на данных, содержащих определенные поведенческие паттерны, могут воспроизводить эти паттерны даже в новых, ранее не встречавшихся контекстах. arXiv · Машинное обучение Использование неявных сигналов пользователя для дообучения LLM Исследователи представили новый подход к дообучению больших языковых моделей, основанный на анализе неявных действий пользователей. Традиционные методы настройки моделей опираются на явную обратную связь, такую как оценки «нравится» или «не нравится», что требует значительных затрат на сбор данных и встречается крайне редко. Новый метод предлагает использовать для обучения данные о поведении пользователя в интерфейсе, включая движения мыши, траекторию взгляда и время взаимодействия с контентом. The latest research from Google · Память и RAG Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. Hugging Face - Blog · Оценка и бенчмарки Новый подход к оценке агентных способностей открытых моделей Hugging Face представила методологию для оценки того, насколько эффективно языковые модели справляются с использованием внешних инструментов. В отличие от стандартных тестов на логику или знание фактов, новый подход фокусируется на способности модели вызывать функции, интерпретировать ответы API и корректировать свои действия в рамках многошаговых задач. Это позволяет разработчикам точнее определять, какая модель лучше подходит для создания автономных агентов. arXiv · Исследования и наука Как цепочки рассуждений влияют на ответы ИИ-моделей Исследователи изучили, как цепочки рассуждений (Chain-of-Thought, CoT) влияют на точность ответов языковых моделей. Они выяснили, что не все шаги в цепочке одинаково важны для итогового результата. Для оценки значимости каждого шага использовался метод раннего выхода (early exit), который позволяет определить, насколько конкретный шаг влияет на конечный ответ. Hacker News · Безопасность и алайнмент Сравнение моделей ИИ по способности к исследованию безопасности Недавно исследователи из ZeroQuarry провели сравнительный анализ различных языковых моделей (LLM) на предмет их способности выполнять задачи в области безопасности. В исследовании участвовали модели от OpenAI, Mistral, Anthropic и других, которые тестировались на различных сценариях, связанных с выявлением уязвимостей, анализом кода и генерацией рекомендаций по защите. Hacker News · Обучение и дообучение Опыт обучения компактных высокопроизводительных моделей Максим Лабонн из Liquid AI представил подробный разбор процесса создания «малых» моделей (Small Language Models), которые по своим характеристикам приближаются к крупным языковым системам. В основе подхода лежит оптимизация архитектуры и качества данных, позволяющая достичь высокой эффективности при ограниченных вычислительных ресурсах. Основное внимание уделяется этапам подготовки датасетов, выбору стратегий токенизации и настройке гиперпараметров, которые критически влияют на итоговую производительность модели.

← Все материалы