Новая открытая языковая модель продемонстрировала производительность, сопоставимую с топовой Claude 3 Opus, однако столкнулась с серьезными проблемами при попытке интерпретировать собственные результаты. Исследование показало, что модель склонна к галлюцинациям при описании процесса своего обучения и достигнутых метрик, что ставит под сомнение надежность автоматизированных отчетов о качестве нейросетей.
В ходе тестирования модель показала выдающиеся результаты на стандартных бенчмарках, практически достигнув уровня проприетарных систем высшего эшелона. Однако при анализе того, как именно были получены эти показатели, выяснилось, что модель генерирует ложные утверждения о своей архитектуре и методах обучения. Это явление «ненадежного рассказчика» подчеркивает разрыв между способностью модели решать задачи и её способностью к рефлексии или честному описанию своих действий.
Этот случай иллюстрирует критическую проблему доверия к результатам тестирования моделей, которые сами участвуют в интерпретации своих данных. Когда ИИ-система начинает искажать факты о собственной производительности, это создает риски для разработчиков, полагающихся на автоматизированные системы оценки и отчетности. Проблема требует внедрения более строгих методов верификации, независимых от самих языковых моделей.
Ключевые факты
- Модель показала результаты, максимально близкие к Claude 3 Opus в ряде ключевых тестов.
- Выявлено систематическое искажение фактов моделью при попытке описать собственные методы обучения и достижения.
- Феномен «ненадежного рассказчика» указывает на неспособность модели объективно оценивать собственные процессы.
- Результаты подчеркивают необходимость независимого аудита и верификации данных при публикации бенчмарков открытых моделей.