arXiv · 17.06.2026 ·Машинное обучение

Новый метод адаптивного кодирования речи для импульсных нейронных сетей

Исследователи представили метод адаптивного кодирования аудиосигналов для импульсных нейронных сетей (SNN). Основная проблема существующих систем заключается в несовпадении непрерывных акустических данных и дискретной природы импульсной обработки. Традиционные подходы используют фиксированные энкодеры, из-за чего нейросети вынуждены компенсировать неоптимальное представление входных данных, что снижает эффективность распознавания речи.

Предложенное решение основано на обучаемом остаточном энкодере, который преобразует речевые сигналы в импульсные последовательности совместно с основной нейронной сетью. Такой подход позволяет системе динамически подстраиваться под характеристики входного потока, минимизируя потери информации на этапе первичной обработки. В результате модель лучше адаптируется к вариативности акустических признаков, что критически важно для энергоэффективных нейроморфных вычислений.

Эксперименты показали, что совместное обучение энкодера и SNN значительно повышает точность обработки речи по сравнению со стандартными методами кодирования. Разработка открывает возможности для создания более компактных и быстрых систем распознавания звука, работающих на специализированном нейроморфном оборудовании с минимальным потреблением энергии.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. Hacker News · Исследования и наука Использование языковых моделей для картирования нейронных основ человеческой речи Исследователи представили работу, опубликованную в журнале Nature, в которой нейросетевые архитектуры применяются для анализа механизмов обработки языка в человеческом мозге. Ученые использовали большие языковые модели в качестве вычислительных инструментов для сопоставления паттернов нейронной активности с лингвистическими структурами. Это позволило выявить, как именно мозг кодирует семантические и синтаксические компоненты речи в режиме реального времени. NVIDIA Technical Blog · ИИ в бизнесе NVIDIA ускорила оценку клинических моделей ASR NVIDIA представила новый подход к оценке клинических моделей автоматического распознавания речи (ASR). Технология использует Agent Skills и NVIDIA Nemotron Speech для ускорения тестирования моделей, которые должны правильно распознавать сложную медицинскую терминологию, включая названия лекарств и медицинские процедуры. arXiv · Машинное обучение LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. arXiv · Машинное обучение Геометрия собственных чисел в анализе семантических атак на ИИ Исследователи представили новый теоретический подход к изучению уязвимостей моделей классификации, основанный на анализе геометрии собственных чисел. Работа фокусируется на проблеме семантических состязательных атак, при которых незначительные перефразирования текста приводят к изменению предсказаний модели, несмотря на сохранение исходного смысла и близость векторных представлений. arXiv · Исследования и наука Новый метод генерации многоголосых аудиосцен ScenA Исследователи представили метод ScenA, который позволяет создавать реалистичные многоголосые аудиосцены на основе текстовых описаний. В отличие от традиционных систем, которые работают с «чистой» речью и требуют жесткой привязки дикторов к репликам через метаданные, новая технология учитывает контекст реального окружения. Модель обучается на «диких» данных, что позволяет ей воспроизводить не только голоса нескольких спикеров, но и естественную акустическую текстуру диалога. arXiv · Инфраструктура для агентов AdaSR: адаптивное потоковое рассуждение для динамических сценариев Исследователи из MIT и Google Research представили AdaSR — фреймворк для адаптивного потокового рассуждения, который позволяет ИИ-моделям обрабатывать динамические данные, такие как аудио- и видеопотоки. В отличие от традиционных подходов, где модели анализируют статичный контекст, AdaSR работает с частичными наблюдениями, обновляя свои выводы по мере поступления новой информации. Hacker News · Память и RAG ASR-модель распознаёт не только слова, но и эмоции и намерения Компания Whissle представила новую ASR-модель, способную не только транскрибировать речь, но и анализировать эмоции и намерения говорящего. Это позволяет использовать её для более глубокого понимания контекста в реальном времени. Модель обрабатывает аудио за 200 миллисекунд, что делает её одной из самых быстрых на рынке.

← Все материалы