Разработчики Andon Café проанализировали опыт внедрения модели Gemini 1.5 Pro для автоматизации работы кофейни и пришли к выводу, что стоимость токенов при текущем подходе превышает прибыль от заказов. Несмотря на высокую точность обработки естественного языка, операционные расходы на инференс сделали модель экономически нецелесообразной для обслуживания простых транзакций в реальном времени.
Основная проблема заключалась в архитектуре взаимодействия с моделью: система отправляла слишком большие контекстные запросы для каждой операции, что приводило к неоправданно высокому потреблению токенов. В условиях малого бизнеса, где маржинальность каждого чека ограничена, затраты на API-запросы к продвинутой LLM быстро нивелировали финансовый эффект от автоматизации процессов.
Авторы кейса подчеркивают, что для подобных задач требуется оптимизация пайплайна, переход на более компактные модели или использование гибридных подходов. Прямое использование флагманских моделей для рутинных бизнес-задач без учета стоимости инференса на каждый запрос создает серьезные риски для экономики проекта, делая автоматизацию убыточной.
Ключевые факты
- Использование Gemini 1.5 Pro привело к тому, что стоимость API-запросов превысила доходность от обработки заказов.
- Основным фактором роста расходов стал избыточный контекст, передаваемый в модель при каждом взаимодействии.
- Кейс демонстрирует критическую важность выбора модели в зависимости от маржинальности бизнес-процесса.
- Разработчики пришли к выводу, что для простых агентных задач необходимо внедрение более дешевых моделей или локальных решений.