Лаборатория Thinking Machines Lab, основанная Мирой Мурати, выпустила свою первую мультимодальную модель с открытыми весами — Inkling. Модель построена на архитектуре Mixture-of-Experts и обучена на колоссальном массиве данных объемом 45 триллионов токенов, включающем текст, изображения, аудио и видео. Проект распространяется под лицензией Apache-2.0, что делает его доступным для широкого круга исследователей и разработчиков.
Inkling представляет собой трансформер, который использует 975 миллиардов параметров, при этом в процессе инференса задействуется 41 миллиард активных параметров. Такая архитектура позволяет эффективно балансировать между мощностью модели и вычислительными затратами. Разработчики также анонсировали облегченную версию Inkling-Small, которая в данный момент проходит стадию финального тестирования.
Ожидается, что Inkling-Small будет обладать 276 миллиардами общих параметров, из которых 12 миллиардов будут активными. Использование лицензии Apache-2.0 подчеркивает стратегию лаборатории по поддержке открытой экосистемы ИИ-разработок. Выпуск модели такого масштаба с открытыми весами может существенно повлиять на доступность передовых мультимодальных технологий для сообщества.
Ключевые факты
- Общий объем параметров модели Inkling составляет 975 млрд, активных — 41 млрд.
- Модель обучена на 45 триллионах токенов, включая мультимодальные данные (текст, изображения, аудио, видео).
- Лицензия модели — Apache-2.0.
- Анонсирована версия Inkling-Small: 276 млрд параметров всего, 12 млрд активных.
- Разработчик — Thinking Machines Lab (основатель Мира Мурати).