Компания Thinking Machines анонсировала выпуск Inkling — крупной языковой модели с 975 миллиардами параметров, доступной с открытыми весами. Релиз знаменует собой значимый сдвиг в сторону сверхмасштабных моделей, которые ранее были доступны исключительно в закрытом виде. Разработчики сфокусировались на повышении логических способностей системы, стремясь конкурировать с ведущими проприетарными решениями в задачах сложного рассуждения.
Архитектура Inkling использует разреженную структуру (Mixture-of-Experts), что позволяет эффективно управлять огромным количеством параметров при инференсе. Несмотря на внушительный размер, модель оптимизирована для работы в высокопроизводительных вычислительных средах, что делает её привлекательной для исследовательских организаций и компаний, развивающих собственные инфраструктурные решения на базе LLM.
Публикация весов модели предоставляет сообществу новые возможности для глубокого анализа поведения нейросетей такого масштаба. Это позволяет изучать закономерности эмерджентных способностей, которые проявляются только при достижении экстремальных объемов обучающих данных и параметров, а также проводить независимую оценку безопасности и надежности системы в различных прикладных сценариях.
Ключевые факты
- Модель Inkling содержит 975 миллиардов параметров, что делает её одной из крупнейших открытых моделей на рынке.
- Архитектура основана на принципах Mixture-of-Experts (MoE) для оптимизации вычислительных затрат.
- Веса модели доступны для свободного скачивания и использования в исследовательских и коммерческих целях.
- Разработчик, компания Thinking Machines, основана бывшими сотрудниками ведущих ИИ-лабораторий, включая Миру Мурати.
- Модель ориентирована на выполнение задач, требующих глубокого логического вывода и многошагового планирования.