Команда Ello разработала ИИ-тьютора для обучения детей чтению, добившись времени отклика системы менее 1000 мс. Для обеспечения такой скорости взаимодействия разработчики оптимизировали весь стек: от выбора легковесных моделей и стриминга аудио до минимизации сетевых задержек. Это позволило создать естественный диалог, критически важный для удержания внимания пятилетних пользователей в процессе обучения.
Основная инженерная задача заключалась в сокращении «времени до первого слова» (TTFT). Инженеры отказались от стандартных тяжелых LLM в пользу специализированных архитектур, которые позволяют начать генерацию ответа параллельно с обработкой входящего аудиопотока. Использование потоковой передачи данных (streaming) между клиентом и сервером стало ключевым фактором, позволившим уложиться в жесткие рамки реального времени.
Помимо оптимизации инференса, проект потребовал глубокой настройки промптов для адаптации педагогических методик под специфику детской речи. Система должна не просто отвечать на вопросы, но и корректировать произношение, поддерживать мотивацию и учитывать психологические особенности пятилетних детей, что требует высокой точности и предсказуемости генерации при минимальных задержках.
Ключевые факты
- Целевой показатель задержки отклика (latency) составил менее 1000 миллисекунд.
- Архитектура системы построена на принципах потоковой передачи аудио для исключения пауз в диалоге.
- Оптимизация проводилась для обеспечения взаимодействия с детьми в возрасте 5 лет.
- Технический стек включает комбинацию легковесных моделей и специализированных пайплайнов обработки голоса.