Microsoft выпустила новую линейку моделей Phi-3.5, ориентированную на высокую производительность при значительном снижении затрат на инференс. Компания заявляет, что использование этих моделей позволяет сократить расходы на эксплуатацию до 89% по сравнению с аналогичными по возможностям решениями от OpenAI, предлагая при этом сопоставимое качество ответов в задачах логического вывода и обработки текста.
Новая серия включает в себя несколько версий, оптимизированных для различных сценариев использования: от мобильных устройств до облачных серверов. Основной упор сделан на архитектурные улучшения, которые позволяют моделям эффективно работать с длинным контекстом и демонстрировать высокую точность в бенчмарках, несмотря на меньшее количество параметров по сравнению с флагманскими LLM.
Переход на собственные разработки Microsoft отражает стратегический сдвиг в сторону оптимизации инфраструктурных затрат. Использование компактных, но мощных моделей позволяет компаниям снижать зависимость от дорогостоящих API и масштабировать ИИ-решения внутри корпоративных сред с меньшими капитальными вложениями в вычислительные мощности.
Ключевые факты
- Линейка Phi-3.5 включает модели, оптимизированные для работы с контекстом до 128 тысяч токенов.
- Заявленное снижение стоимости инференса достигает 89% относительно моделей OpenAI аналогичного класса.
- Модели демонстрируют конкурентоспособные результаты в тестах на логическое мышление и кодирование.
- Релиз направлен на расширение возможностей локального и облачного развертывания ИИ в бизнес-приложениях.
- Архитектура моделей сфокусирована на балансе между скоростью отклика и качеством генерации контента.