В статье на Substack автор Адриан Роча рассматривает эволюцию неравенства в доступе к ИИ-технологиям. Если раньше основным барьером был доступ к мощным GPU, то теперь ключевым ограничением становятся токены — стоимость вычислений на больших языковых моделях (LLM). Это создает новую форму цифрового разрыва, где даже при наличии вычислительных ресурсов использование ИИ остается недоступным для многих из-за высоких затрат на инференс.
Роча подчеркивает, что переход от GPU-poor к token-poor меняет ландшафт ИИ-индустрии. Если раньше компании и исследователи могли обходиться более дешевыми решениями или открытыми моделями, то сейчас даже локальные вычисления требуют значительных затрат на токены. Это особенно актуально для разработчиков ИИ-агентов, где инференс на больших моделях может стать серьезным ограничением.
Автор также отмечает, что эта проблема усугубляется монополизацией рынка несколькими крупными игроками, такими как OpenAI и Anthropic, которые контролируют доступ к наиболее мощным моделям. Это создает дополнительные барьеры для входа на рынок для стартапов и независимых разработчиков. В статье предлагаются возможные пути решения, включая развитие открытых моделей и оптимизацию затрат на инференс.
Для команды, работающей над ИИ-агентом Jarv, эта тема особенно важна, так как она затрагивает ключевые аспекты инфраструктуры и экономики использования ИИ. Понимание этих тенденций позволяет лучше планировать стратегию развития и поиск альтернативных решений для снижения затрат на инференс.