Репортаж от Wedoany，7 июля китайская компания Alibaba Qwen объявила об обновлении модели распознавания речи в реальном времени Fun-ASR-Realtime. После обновления одна модель может поддерживать 16 диалектов и 30 языков. API уже доступен на платформе Alibaba Cloud Bailian в Китае и открыт для вызова в таких сценариях, как субтитры в реальном времени, транскрипция совещаний, голосовые помощники, обслуживание клиентов за рубежом и многоязычное общение.
Основное внимание в этом обновлении уделяется двум направлениям: «реальное время» и «покрытие сложной речи». Fun-ASR-Realtime, как потоковая модель распознавания речи, подчеркивает синхронный вывод текста во время речи пользователя. Задержка первого слова контролируется на уровне сотен миллисекунд, а задержка вывода последнего слова в длинных предложениях низкая. По сравнению с офлайн-распознаванием, которое выполняется после завершения записи, распознавание в реальном времени требует от модели более высокой способности к непрерывному анализу фрагментов речи, контекста, пауз, шума и изменений акцента. В сценариях совещаний, прямых трансляций, обслуживания клиентов и интеллектуальных устройств пользователям не нужно ждать окончания всего предложения, чтобы получить результат; система должна распознавать речь на лету и минимизировать ошибки, вызванные изменениями в контексте.
Что касается диалектов, Fun-ASR-Realtime охватывает 16 диалектов из восьми основных диалектных групп. В соответствующих тестах средняя точность распознавания символов модели составила 88,62%, и она превзошла аналогичные продукты китайской компании Volcano Engine и китайской компании Tencent по распознаванию 12 типов диалектов. Распознавание диалектов долгое время было сложной задачей в речевых технологиях, поскольку в разных регионах существуют значительные различия в инициалях, финалях, тонах, темпе речи, связности и лексике. Одно и то же слово на путунхуа в реальной устной речи может быть произнесено с разными акцентами. Если модель адаптирована только к стандартному путунхуа, при использовании в сценариях обслуживания клиентов, прямых трансляций, коротких видео, горячих линий госуслуг, автомобильных голосовых систем и интеллектуальных терминалов легко возникают ошибки транскрипции. На этот раз Alibaba Qwen включила 16 диалектов в одну модель реального времени, что означает, что предприятиям не нужно развертывать отдельные системы распознавания для разных регионов при интеграции.
Многоязычные возможности направлены на более широкие коммерческие сценарии использования. Fun-ASR-Realtime поддерживает 30 языков и была специально оптимизирована для многоязычных сценариев в Восточной и Юго-Восточной Азии, таких как тайский язык, что повысило точность распознавания на 20%. Такие возможности больше подходят для трансграничного обслуживания клиентов, международных конференций, зарубежных прямых трансляций, обучения в транснациональных компаниях, туристических услуг, международной электронной коммерции и локализованных операций. Для компаний, выходящих на зарубежные рынки, распознавание речи — это не просто преобразование звука в текст; это также касается контроля качества обслуживания клиентов, создания заявок, протоколов совещаний, перевода субтитров, обработки лидов и соблюдения нормативных требований. Если модель реального времени может одновременно обрабатывать многоязычие и проблемы с акцентом, предприятия могут сократить затраты на ручную транскрипцию и повторную обработку в своей зарубежной деятельности.
Это обновление также придало большее значение контекстным возможностям. Распознавание речи в реальном времени легко подвержено влиянию фонового шума, одновременной речи нескольких человек, профессиональной лексики и временных «горячих слов». Особенно в сценариях прямых трансляций, промышленных объектов, медицинских консультаций, финансового обслуживания клиентов и технических совещаний имена людей, названия брендов, модели продуктов и названия устройств часто не являются общеупотребительными словами. Fun-ASR-Realtime была усилена в отношении общих контекстных возможностей (泛Context能力), что позволяет улучшить результаты распознавания, используя исторический контекст диалога и «горячие слова» в реальном времени. Например, в сценарии прямой трансляции модель может корректировать легко неправильно воспринимаемые слова на основе семантики контекста, делая субтитры более близкими к реальному выражению. Эта способность ближе к реальным бизнес-потребностям, чем простое повышение точности диктовки на путунхуа.
После запуска API на платформе Alibaba Cloud Bailian в Китае разработчики и предприятия могут интегрировать Fun-ASR-Realtime в свои бизнес-системы. Способ интеграции повлияет на скорость внедрения модели: если возможности распознавания речи можно использовать только в одном продукте, это больше похоже на инструментальную функцию; если они попадут через API в системы обслуживания клиентов, системы совещаний, интеллектуальные устройства, платформы прямых трансляций, автомобильные системы и корпоративные офисные платформы, это станет базовой речевой инфраструктурой. Fun-ASR-Realtime образует комбинацию с недавно запущенной офлайн-моделью Fun-ASR-Flash: первая подходит для субтитров в реальном времени и голосового взаимодействия, а вторая — для задач транскрипции аудиофайлов, длинных аудиозаписей, интервью и пакетной обработки. Одновременный вывод на платформу Bailian как моделей реального времени, так и офлайн-моделей позволяет предприятиям выбирать разные пути распознавания в зависимости от сценария.
Конкуренция в области моделей распознавания речи смещается от «способности понимать путунхуа» к «способности понимать сложные звуки в реальном мире». Пользователи могут говорить с акцентом, делать паузы, повторяться, вставлять английские слова, переключать языки, а также могут находиться в конференц-зале, студии прямой трансляции, на заводе, в автомобиле или на открытом воздухе. Fun-ASR-Realtime, объединив в одном обновлении диалекты, многоязычие, низкую задержку, контекстные «горячие слова» и API-сервис, нацелена на более сложный корпоративный речевой вход. То, насколько хорошо она сможет охватить отраслевую лексику, сможет ли поддерживать низкую задержку при высоком параллелизме вызовов и сможет ли адаптироваться к большему количеству шумовых сценариев, напрямую определит глубину использования таких моделей распознавания речи в реальном времени в коммерческих системах.
