Исследователи представили Ramanujan Challenge — специализированный набор тестов для оценки способности больших языковых моделей к поиску глубоких математических закономерностей и доказательству сложных теорем. В отличие от стандартных академических тестов, этот бенчмарк фокусируется на задачах, требующих интуитивного поиска новых математических структур, имитируя творческий подход выдающихся математиков к решению нетривиальных проблем.
Современные модели часто демонстрируют высокие результаты в решении задач из учебников, однако пасуют перед поиском новых математических истин. Ramanujan Challenge ставит перед ИИ задачи, которые требуют не просто применения известных алгоритмов, а генерации гипотез и их формальной проверки. Это позволяет оценить реальный потенциал моделей в области автоматизированного научного открытия и фундаментальной математики.
Разработчики бенчмарка подчеркивают, что текущие архитектуры LLM ограничены в способности к «математическому творчеству» из-за зависимости от обучающих данных, содержащих уже известные решения. Новый инструмент направлен на выявление способности моделей к синтезу знаний из разных областей для формулировки оригинальных математических утверждений, что является критически важным шагом для развития автономных научных ассистентов.
Ключевые факты
- Бенчмарк Ramanujan Challenge ориентирован на проверку навыков генерации новых математических гипотез, а не на решение стандартных задач.
- Тестирование включает оценку способности моделей к формализации доказательств в интерактивных средах типа Lean или Isabelle.
- Исследование указывает на разрыв между способностью моделей к имитации логических рассуждений и их реальной эффективностью в поиске новых закономерностей.
- Методология бенчмарка опирается на исторические примеры математических открытий, которые требуют нестандартного подхода к анализу числовых последовательностей и функций.