Пользователи и исследователи зафиксировали заметное снижение качества ответов моделей OpenAI в рамках бенчмарка SimpleBench. Анализ показывает, что актуальные версии GPT-4o и o1 стали чаще допускать ошибки в задачах, с которыми ранее справлялись успешно. Это вызывает вопросы о стабильности поведения моделей после обновлений и эффективности текущих методов их калибровки перед релизом.
SimpleBench представляет собой набор тестов, ориентированных на проверку логических способностей и следование инструкциям в условиях, где модели часто демонстрируют «деградацию» после внесения изменений в системные промпты или веса. Наблюдаемая регрессия затрагивает как точность рассуждений, так и способность модели придерживаться заданного формата вывода, что критично для интеграции в автоматизированные пайплайны.
Подобные колебания в производительности моделей после обновлений API становятся системной проблемой для разработчиков, использующих ИИ в продакшене. Непредсказуемое изменение ответов вынуждает компании тратить дополнительные ресурсы на перенастройку промптов и внедрение более сложных систем валидации результатов, чтобы компенсировать снижение качества базовых моделей.
Ключевые факты
- SimpleBench зафиксировал статистически значимое падение метрик точности для моделей GPT-4o и o1.
- Основные проблемы наблюдаются в задачах на логическое мышление и строгое соблюдение инструкций.
- Пользователи отмечают, что текущая производительность моделей стала менее предсказуемой по сравнению с версиями, доступными в начале года.
- Регрессия в бенчмарках часто связывается с изменениями в RLHF-обучении или корректировками системных промптов, проводимыми разработчиками для снижения токсичности или изменения тональности ответов.