Исследователи представили MentalThink — парадигму, наделяющую мультимодальные LLM способностью к «ментальной» визуализации через генерацию SVG-кода. Модель использует векторную графику как промежуточное звено для многошаговых рассуждений, что позволяет ей структурировать визуальные данные, выполнять их рендеринг и интерпретировать результат для решения сложных задач, требующих пространственного мышления и логического вывода.
Традиционные мультимодальные модели часто испытывают трудности с задачами, требующими точного понимания пространственных отношений и геометрии. MentalThink решает эту проблему, заставляя модель не просто «смотреть» на изображение, а самостоятельно конструировать его в виде исполняемого кода. Такой подход превращает абстрактные рассуждения в проверяемую визуальную структуру, что значительно повышает точность ответов в тестах на логику и пространственное воображение.
Система работает по конвейерному принципу: модель генерирует SVG-код, который затем рендерится и анализируется как часть процесса рассуждения. Это позволяет модели корректировать свои «мысли» на основе визуальной обратной связи, делая процесс мышления более прозрачным и итеративным. Метод демонстрирует эффективность в задачах, где необходимо учитывать взаимное расположение объектов, их форму и динамические изменения в процессе решения.
Ключевые факты
- MentalThink использует SVG как промежуточный формат для визуально-символического мышления.
- Метод позволяет моделям выполнять итеративный рендеринг и интерпретацию графических данных в многоходовых задачах.
- Подход улучшает показатели мультимодальных моделей в тестах на пространственное мышление и логику.
- Система переводит абстрактные визуальные концепции в исполняемый и структурированный программный код.