Hacker News · 23.07.2026 ·Оценка и бенчмарки

Сравнительный анализ LLM через кросс-энтропию выявил сходство Kimi и Claude

Исследователи применили метод кросс-энтропии для оценки близости ответов различных языковых моделей. Анализ показал высокую степень сходства между моделью Kimi от Moonshot AI и архитектурой Claude от Anthropic. Использование метрики кросс-энтропии позволяет количественно измерить, насколько распределение вероятностей токенов одной модели совпадает с другой, выходя за рамки простого сравнения текстового вывода.

Традиционные бенчмарки часто опираются на статические наборы данных, которые могут быть подвержены «загрязнению» при обучении. Метод кросс-энтропии предлагает более глубокий взгляд на внутреннюю логику моделей, позволяя понять, насколько схожи стратегии генерации текста и вероятностные модели мира, заложенные в веса нейросетей. Это дает возможность косвенно судить о схожести архитектур или обучающих выборок.

Результаты исследования подчеркивают, что Kimi демонстрирует паттерны поведения, статистически близкие к семейству Claude 3. Это ставит вопросы о методах дистилляции или использовании синтетических данных, полученных от более мощных моделей, при обучении новых систем. Подобный подход становится важным инструментом для аудита моделей в условиях закрытости данных об их архитектуре и процессе подготовки.

Ключевые факты

Метод кросс-энтропии использован для сопоставления вероятностных распределений ответов LLM.
Анализ выявил высокую статистическую близость между моделью Kimi и семейством Claude 3.
Исследование позволяет выявлять скрытые сходства в обучении моделей без доступа к их весам.
Метод помогает оценивать степень зависимости новых моделей от результатов работы более крупных систем.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Модели и релизы Анализ архитектуры Kimi K3: подозрения в дистилляции моделей Anthropic Новая языковая модель Kimi K3 от китайского стартапа Moonshot AI вызвала дискуссии в сообществе исследователей ИИ. Анализ весов и поведения модели указывает на возможную дистилляцию знаний из невыпущенных архитектур Anthropic. Эксперты отмечают необычное сходство в логических паттернах и специфических ответах, что ставит вопросы о методах обучения и чистоте данных, используемых для тренировки проприетарных систем. arXiv · Исследования и наука Исследование методов отслеживания влияния обучающих данных на ответы LLM Исследователи проанализировали два ключевых подхода к интерпретации поведения больших языковых моделей: оценку сходства данных (data-similarity) и оценку влияния данных (data-influence). Первый метод основан на поиске семантической близости между запросом и обучающей выборкой, что требует значительно меньше вычислительных ресурсов. Второй метод направлен на определение того, как конкретные примеры из обучающего набора напрямую меняют веса модели и влияют на итоговый результат, что считается более точным, но трудоемким процессом. Hacker News · Оценка и бенчмарки Сравнительный анализ стилистики моделей Fable и Claude 3 Opus Исследование SlopIdx выявило неожиданные стилистические сходства между новой моделью Fable и Kimi K3, которые оказались ближе друг к другу, чем к Claude 3 Opus. Анализ показывает, что несмотря на принадлежность к семейству моделей Anthropic, Fable демонстрирует уникальные паттерны генерации текста, отличающиеся от привычного «голоса» Opus, что критически важно для выбора LLM под конкретные задачи копирайтинга. Hacker News · Оценка и бенчмарки Сравнение производительности модели Kimi K3 и Claude 3.5 Sonnet в задачах программирования Китайская модель Kimi K3 от компании Moonshot AI продемонстрировала результаты, сопоставимые с Claude 3.5 Sonnet в прикладных задачах программирования. Исследование, основанное на реальных кейсах разработки, показывает, что новая архитектура способна эффективно справляться со сложными логическими структурами и написанием кода, что делает её серьезным конкурентом для текущих лидеров рынка в сегменте кодинг-ассистентов. Hacker News · Оценка и бенчмарки Анализ производительности моделей Claude при работе с кодовыми базами Исследователи протестировали возможности моделей Claude в решении комплексных задач, проанализировав репозиторий LangChain. Эксперимент показал, как современные LLM справляются с навигацией по сложной структуре кода, выявлением зависимостей и генерацией технической документации. Результаты демонстрируют текущие пределы контекстного окна и способности моделей к глубокому пониманию архитектуры программных проектов при автоматизированном аудите. arXiv · Исследования и наука Асимметрия восприятия и генерации в LLM: анализ вероятностей токенов Исследователи изучили, существует ли в больших языковых моделях функциональное различие между процессами восприятия и генерации текста, аналогичное психолингвистическим моделям человека. Несмотря на то что LLM используют единый механизм предсказания следующего токена для обеих задач, анализ вероятностей показывает наличие специфических паттернов, которые позволяют разграничить «входящую» обработку информации и «исходящую» генерацию контента внутри архитектуры трансформера. arXiv · Исследования и наука Метод Introspective Coupling улучшает интерпретируемость языковых моделей Исследователи представили метод Introspective Coupling, позволяющий языковым моделям генерировать более точные объяснения своих решений. В отличие от стандартного обучения, где модель имитирует поверхностные паттерны, новый подход использует контрфактуальные данные для проверки того, какие именно признаки входных данных действительно влияют на поведение системы, обеспечивая более глубокую связь между логикой модели и её итоговым ответом. Hacker News · Безопасность и алайнмент Идентификация LLM по распределению вероятностей одного токена Исследователи представили метод «цифровых отпечатков» для больших языковых моделей, позволяющий идентифицировать конкретную модель по распределению вероятностей вывода всего одного токена. Техника использует уникальные различия в логитах, возникающие из-за особенностей обучения и архитектурных настроек, что позволяет с высокой точностью определять источник генерации текста даже при минимальном объеме данных. Hacker News · Исследования и наука Ограничения метода имитации проприетарных LLM Исследование показывает, что дообучение моделей с открытым исходным кодом на ответах проприетарных LLM (метод дистилляции) часто приводит лишь к поверхностной имитации стиля, а не к реальному росту интеллектуальных способностей. Авторы доказывают, что такие модели склонны копировать ошибки и галлюцинации «учителя», не приобретая глубинных навыков рассуждения, необходимых для решения сложных задач. Hacker News · Оценка и бенчмарки Исследование: ансамбли LLM редко превосходят лучшие одиночные модели Масштабное исследование 67 различных языковых моделей показало, что стратегии объединения нескольких LLM в ансамбли для улучшения ответов зачастую не дают значимого прироста качества. В большинстве случаев производительность комбинированной системы ограничена возможностями самой сильной модели в группе, что ставит под сомнение эффективность сложных схем оркестрации для повышения точности генерации.

← Все материалы