Американская компания Rime создает собственную систему сбора голосовых данных, продвигая внедрение моделей преобразования речи в речь с низкой задержкой

Репортаж от Wedoany，Американская компания в сфере голосового искусственного интеллекта Rime расширяет систему сбора голосовых данных, разработки моделей и отраслевого внедрения, уделяя особое внимание разработке моделей преобразования речи в речь с низкой задержкой. Компания построила собственную студию звукозаписи в Сан-Франциско, США, собирая обучающие данные путем организации записи диалогов реальных людей, чтобы уменьшить зависимость от общедоступных аудиоданных из интернета, и оптимизирует возможности голосового взаимодействия для таких сценариев, как корпоративные службы поддержки, медицинские услуги, авиационный бизнес и финансовые технологии.

Американская компания Rime была основана в 2022 году. Члены команды основателей имеют опыт исследований в Стэнфордском университете США, разработки голосовой системы Alexa от Amazon и инженерных разработок. В отличие от метода прямого сбора аудиоданных из интернета для обучения моделей, компания собирает в студии диалоговые данные с четкой информацией о говорящем, контексте и произношении, которые затем используются для обучения моделей синтеза речи, контроля произношения и взаимодействия.

Собственная система записи позволяет сделать обучение модели более целенаправленным. Корпоративные голосовые системы в реальном использовании часто сталкиваются с необходимостью обработки названий брендов, моделей продуктов, названий лекарств и отраслевых терминов. Универсальные голосовые модели часто допускают ошибки в ударениях, пропуски слогов или несогласованность произношения. Американская компания Rime использует архитектуру модели на основе фонем, разбивая слова на более фундаментальные произносительные единицы, а затем корректируя способ произношения в зависимости от среды использования конкретного предприятия и отрасли.

Этот технический подход не требует от клиентов полного переобучения модели. Предприятия могут добавлять в существующую голосовую систему брендовую лексику, профессиональные термины и специфические произношения, что позволяет голосовому ИИ сохранять высокую точность при работе с профессиональным контентом в таких областях, как медицина, авиация и финансы. Основное направление исследований сместилось с простой генерации естественного звука на решение проблем согласованности произношения и стабильности голосового взаимодействия в реальных бизнес-процессах.

Ранее американская компания Rime использовала многомодельный конвейер, состоящий из преобразования речи в текст, обработки текста, большой языковой модели и преобразования текста в речь. После того как пользователь говорил, системе требовалось сначала распознать текст, затем сгенерировать ответ с помощью большой языковой модели и, наконец, преобразовать текст в речь. Последовательный запуск нескольких моделей легко увеличивает время ожидания и может привести к неестественности тона, пауз и смены реплик.

В настоящее время компания переходит к разработке модели преобразования речи в речь, позволяя системе напрямую понимать голосовой ввод и генерировать голосовой вывод, сокращая этапы координации между несколькими моделями. Новое направление исследований в первую очередь решает такие проблемы, как задержка ответа, смена реплик в диалогах с несколькими участниками, помехи от фонового шума и прерывание пользователем, чтобы голосовой ИИ-агент мог приблизиться к темпу общения живого оператора службы поддержки.

Модели преобразования речи в речь также требуют интеграции семантического понимания, генерации речи и взаимодействия в реальном времени в единую систему. Модель должна не только понимать, что сказал пользователь, но и распознавать скорость речи, положение пауз и то, закончился ли диалог, прежде чем решить, когда ответить. После сокращения количества промежуточных моделей путь выполнения системы становится короче, что также способствует унифицированному контролю стиля речи, эмоций и произношения.

Голосовые модели американской компании Rime уже применяются в сферах общественного питания, здравоохранения, авиации и финансовых технологий. Среди клиентов — американские клиники Майо, Dialpad, Upstart и Asurion. Требования к голосовым системам в разных приложениях различаются: медицинские сценарии требуют точной обработки названий болезней и лекарств, авиационные сценарии — распознавания информации о рейсах и аэропортах, а системы поддержки клиентов больше внимания уделяют скорости ответа и стабильности при длительных разговорах.

Компания также планирует расширить команды по разработке моделей, внедрению инженерных решений и кооперативной поставке, чтобы усилить способность голосовых моделей переходить из исследовательской среды в корпоративные системы. Недавно американская компания Rime привлекла главного научного сотрудника с опытом в области понимания аудио и глубокого обучения, и в дальнейшем продолжит совершенствовать процессы сбора данных, обучения моделей, развертывания систем и адаптации под клиентов.

Суть данной корректировки бизнеса заключается не в простом увеличении количества голосовых моделей, а в создании полной системы, начиная от сбора голосов реальных людей, обработки фонемных данных, разработки моделей и заканчивая внедрением на предприятиях. Дальнейший прогресс будет в основном проявляться в запуске моделей преобразования речи в речь, снижении задержки взаимодействия, способности распознавания в шумной среде и интеграции с большим количеством отраслевых систем.