Исследователи представили первый масштабный анализ методов оценки неопределенности (Uncertainty Estimation) в больших языковых моделях, охватывающий 22 языка. Работа демонстрирует, как модели определяют границы своих знаний и когда им следует воздержаться от ответа. Авторы сравнили девять различных подходов, включая методы «черного» и «белого» ящиков, на данных разного уровня лингвистической сложности.
Традиционно исследования в области надежности ИИ фокусировались преимущественно на английском языке, что ограничивало применение систем в глобальных сценариях. Новое исследование заполняет этот пробел, тестируя модели на высоко-, средне- и низкоресурсных языках. Результаты показывают, как архитектурные особенности и размер модели влияют на точность калибровки уверенности при выполнении задач с множественным выбором.
Авторы подчеркивают, что способность модели «признавать» свое незнание критически важна для снижения галлюцинаций в агентных системах и автоматизированных сервисах. Анализ охватывает широкий спектр параметров, позволяя разработчикам выбирать оптимальные методы оценки уверенности в зависимости от доступных ресурсов и целевых языков, что делает ИИ-системы более предсказуемыми в реальных условиях эксплуатации.
Ключевые факты
- Исследование охватывает 22 языка, включая как широко распространенные, так и низкоресурсные группы.
- Проведено сравнение девяти различных методов оценки неопределенности (UE), разделенных на категории «открытого» и «закрытого» ящика.
- Тестирование проводилось на двух наборах данных для ответов на вопросы (MCQA), отобранных и верифицированных людьми.
- Работа анализирует зависимость точности оценки неопределенности от масштаба модели и лингвистических характеристик входных данных.