Майамский стартап Subquadratic вышел из режима скрытности с заявлением о решении фундаментальной математической проблемы, ограничивавшей развитие больших языковых моделей на протяжении последних десяти лет. Речь идет о преодолении вычислительного барьера, связанного с квадратичной сложностью механизмов внимания в архитектуре Transformer. Традиционно потребность в ресурсах при обработке контекста растет пропорционально квадрату длины последовательности, что создает серьезные препятствия для работы с длинными документами и большими объемами данных.
Компания представила первые технические доказательства своей разработки, стремясь подтвердить состоятельность заявлений, которые изначально вызвали скепсис в научном сообществе. Предложенный метод направлен на оптимизацию процесса вычислений, что потенциально позволяет значительно увеличить размер контекстного окна при сохранении высокой скорости инференса. Подобные архитектурные изменения могут радикально снизить затраты на обучение и эксплуатацию моделей, делая их более эффективными для задач, требующих анализа массивов информации.
Технологическое сообщество ожидает публикации подробных данных и результатов независимых тестов, чтобы оценить масштабируемость предложенного подхода. Если заявленные показатели подтвердятся, это может стать значимым сдвигом в проектировании нейронных сетей, позволяя создавать модели с принципиально иными характеристиками производительности. В настоящее время эксперты анализируют представленные математические обоснования, чтобы понять, насколько предложенное решение применимо в условиях реальных нагрузок и существующих инфраструктурных ограничений.