Инженеры Amazon начали процесс дистилляции моделей Anthropic для создания более компактных и экономичных версий, пригодных для внутреннего использования. Этот шаг продиктован предстоящим переходом компании на модель оплаты за количество обработанных токенов вместо оплаты за время вычислений, что грозит значительным ростом операционных расходов на инфраструктуру ИИ в ближайшем будущем.
Переход на токенизированную систему тарификации вынуждает технологических гигантов искать способы снижения нагрузки на облачные мощности. Дистилляция позволяет перенести «знания» крупных языковых моделей в менее ресурсоемкие архитектуры, сохраняя при этом приемлемый уровень производительности для специфических корпоративных задач. Это стандартная практика для компаний, стремящихся масштабировать внедрение генеративного ИИ без кратного увеличения затрат на инференс.
Параллельно с оптимизацией текущих решений Amazon изучает альтернативные варианты, включая модели от OpenAI. Подобная диверсификация стратегии подчеркивает стремление компании сохранить гибкость в выборе поставщиков ИИ-технологий и минимизировать зависимость от ценовой политики конкретных разработчиков моделей в условиях быстро меняющегося рынка.
Ключевые факты
- Amazon переходит на оплату по количеству токенов вместо оплаты за время вычислений с начала следующего года.
- Дистилляция моделей Anthropic направлена на снижение стоимости инференса для внутренних сервисов компании.
- Компания рассматривает возможность интеграции моделей OpenAI в качестве альтернативы для оптимизации затрат.
- Изменение модели ценообразования может привести к резкому росту расходов на использование сторонних ИИ-решений без предварительной оптимизации.