arXiv · 23.07.2026 ·Исследования и наука

Thinkink: новый метод взаимодействия с LLM через рукописные заметки и скетчи

Исследователи представили Thinkink — интерфейс для взаимодействия с большими языковыми моделями через рукописный ввод. Система позволяет пользователям создавать заметки и скетчи на общем холсте, получая ответы от ИИ в аналогичном визуальном стиле. Интеграция семантического дерева и облегченного интерфейса обеспечивает естественное пространственное размещение сгенерированного контента, сохраняя контекст и структуру творческого процесса.

Традиционные текстовые чаты часто ограничивают мыслительный процесс, заставляя пользователя переключаться между форматами. Thinkink решает эту проблему, превращая LLM в активного участника визуального брейншторминга. Система интерпретирует рукописные данные и эскизы, преобразуя их в структурированные запросы, на которые модель отвечает, дополняя холст новыми «чернильными» элементами. Это позволяет сохранять нелинейную логику мышления, характерную для работы с бумагой или графическими планшетами.

Техническая реализация опирается на семантическую интерпретацию штрихов, что позволяет модели понимать взаимосвязи между нарисованными объектами и текстом. Такой подход минимизирует разрыв между абстрактной идеей и её цифровым воплощением, делая процесс генерации контента более интуитивным и подходящим для проектирования или концептуального дизайна.

Ключевые факты

Thinkink поддерживает смешанный ввод, включая рукописный текст и свободные графические скетчи.
Ответы модели визуализируются в стиле «цифровых чернил», что обеспечивает визуальную целостность холста.
В основе системы лежит семантическое дерево, отвечающее за интерпретацию и структурирование рукописных данных.
Интерфейс ориентирован на пространственную организацию идей, имитируя работу с физическим пространством для заметок.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Модели и релизы Thinking Machines представила Inkling: специализированную модель для анализа текстов Компания Thinking Machines опубликовала техническую документацию (model card) для Inkling — специализированной языковой модели, оптимизированной для задач классификации и извлечения структурированных данных из неструктурированных текстов. Модель ориентирована на высокую точность в узкоспециализированных бизнес-сценариях, где требуется предсказуемость результатов и минимальный уровень галлюцинаций при обработке корпоративной документации и отчетов. Hacker News · Модели и релизы Thinking Machines представила Inkling — новую открытую языковую модель Компания Thinking Machines анонсировала Inkling, новую языковую модель с открытыми весами, ориентированную на эффективную работу с текстом. Разработчики сфокусировались на оптимизации архитектуры для выполнения прикладных задач, обеспечивая баланс между производительностью и доступностью для локального развертывания. Релиз направлен на расширение инструментария для специалистов, работающих с компактными и специализированными LLM. MarkTechPost · Модели и релизы Thinking Machines Lab представила мультимодальную модель Inkling с 975 млрд параметров Лаборатория Thinking Machines Lab выпустила Inkling — мультимодальную модель с архитектурой Mixture-of-Experts (MoE), содержащую 975 млрд параметров. Модель поддерживает работу с текстом, изображениями и аудио, предлагая пользователям возможность гибко настраивать «усилия на размышление» (thinking effort) при генерации ответов. Веса модели опубликованы под лицензией Apache 2.0, что делает её доступной для широкого использования в исследовательских и прикладных целях. Hacker News · Оценка и бенчмарки Результаты тестирования модели Inkling от Thinking Machines Компания Thinking Machines представила Inkling — новую модель с открытыми весами, которая демонстрирует лидерство среди американских разработок в своем классе. Согласно результатам независимого тестирования Artificial Analysis, модель показывает выдающиеся показатели в задачах на логическое мышление и кодинг, превосходя многие существующие аналоги по соотношению производительности и доступности для локального развертывания. arXiv · Исследования и наука MentalThink: новый метод визуально-символического мышления для мультимодальных моделей Исследователи представили MentalThink — парадигму, наделяющую мультимодальные LLM способностью к «ментальной» визуализации через генерацию SVG-кода. Модель использует векторную графику как промежуточное звено для многошаговых рассуждений, что позволяет ей структурировать визуальные данные, выполнять их рендеринг и интерпретировать результат для решения сложных задач, требующих пространственного мышления и логического вывода. Together.ai · Модели и релизы Together AI добавила поддержку модели Inkling от Thinking Machines Lab Платформа Together AI объявила о добавлении поддержки новой модели Inkling, разработанной Thinking Machines Lab, в день её официального релиза. Модель ориентирована на задачи рассуждения и логического вывода, предлагая разработчикам доступ к современным архитектурам через API для интеграции в высокопроизводительные приложения без необходимости самостоятельного развертывания инфраструктуры. Hacker News · Инфраструктура для агентов Inkfold: единое рабочее пространство с общей памятью для разных ИИ-провайдеров Inkfold представляет собой платформу для управления рабочими процессами, объединяющую возможности различных ИИ-моделей в едином интерфейсе. Ключевой особенностью системы является централизованная память, позволяющая сохранять контекст взаимодействия между разными провайдерами. Это решение упрощает переключение между моделями и обеспечивает непрерывность работы над сложными задачами, требующими использования инструментов от разных разработчиков в рамках одного проекта. Hacker News · Модели и релизы Thinking Machines представила открытую LLM с 975 миллиардами параметров Компания Thinking Machines анонсировала выпуск Inkling — крупной языковой модели с 975 миллиардами параметров, доступной с открытыми весами. Релиз знаменует собой значимый сдвиг в сторону сверхмасштабных моделей, которые ранее были доступны исключительно в закрытом виде. Разработчики сфокусировались на повышении логических способностей системы, стремясь конкурировать с ведущими проприетарными решениями в задачах сложного рассуждения. Hacker News · Оркестрация агентов ThoughtDAG: визуальное управление контекстом LLM через редактируемые графы ThoughtDAG — это новый подход к взаимодействию с LLM, представляющий процесс рассуждения модели в виде редактируемого направленного ациклического графа. Вместо линейной истории чата система использует узлы как отдельные блоки контекста, а связи между ними определяют поток данных. Это позволяет пользователям динамически изменять структуру рассуждений, перенаправлять логику и корректировать промежуточные результаты работы модели в реальном времени. arXiv · Исследования и наука Масштабируемое визуальное предобучение для развития языковых моделей Исследователи представили новый подход к предобучению нейросетей, который интегрирует визуальные данные — графики, формулы и макеты страниц — в процесс обучения языковых моделей. Текущие методы часто игнорируют визуальный контекст, ограничиваясь текстовыми корпусами, что лишает модели доступа к критически важной информации, передаваемой через структуру и визуальные элементы документов.

← Все материалы