Репортаж от Wedoany，Американская компания по искусственному интеллекту OpenAI выпустила новое поколение голосовой модели GPT-Live, предназначенной для более естественного голосового взаимодействия человека с машиной. Модель основана на полнодуплексной архитектуре, позволяющей непрерывно слушать и отвечать в реальном времени, отходя от традиционной схемы голосовых помощников, где «пользователь заканчивает фразу, а система начинает отвечать».
GPT-Live будет выпущена в двух версиях: GPT-Live-1 и GPT-Live-1 mini. GPT-Live-1 станет голосовой моделью по умолчанию для ChatGPT Voice для пользователей Go, Plus и Pro, а GPT-Live-1 mini — для пользователей Free. OpenAI сообщает, что GPT-Live поэтапно внедряется для пользователей ChatGPT по всему миру, охватывая iOS, Android и ChatGPT.com.
Полнодуплексная связь является ключевым изменением в этой модели. Традиционное голосовое взаимодействие обычно требует ожидания паузы или завершения речи пользователя, прежде чем решить, отвечать ли, что часто приводит к таким проблемам, как перебивание, пропуск слов, задержки или неестественные прерывания. GPT-Live может непрерывно прослушивать голосовой ввод во время диалога, одновременно определяя, делает ли пользователь паузу, дополняет, исправляет себя или ожидает немедленного ответа от модели. Модель способна обрабатывать паузы, перебивания, изменения темпа речи и переключения ритма диалога, делая голосовое взаимодействие более похожим на общение между людьми в реальном времени.
GPT-Live ориентирована на сценарии голосовых агентов в реальном времени. Модель должна одновременно выполнять распознавание речи, отслеживание контекста, генерацию ответа и управление голосовым выводом, а также решать, когда продолжать слушать, когда вставить ответ, а когда ждать дополнения от пользователя. По сравнению с простым процессом преобразования речи в текст и последующей генерации ответа, полнодуплексная голосовая модель объединяет слушание, обдумывание и говорение в единую непрерывную систему взаимодействия, предъявляя более высокие требования к контролю задержек, обнаружению голосовой активности, поддержанию контекста и определению очередности реплик.
OpenAI также опубликовала системную карту GPT-Live, в которой указано, что GPT-Live-1 и GPT-Live-1 mini относятся к новому поколению голосовых моделей, цель которых — сделать диалог с ИИ более естественным и интеллектуальным. В системной карте упоминается, что полнодуплексная способность позволяет модели непрерывно слушать и отвечать, а не ждать завершения четко определенного речевого раунда, прежде чем действовать.
С точки зрения продукта, GPT-Live сначала появится в ChatGPT Voice. Пользователи смогут общаться с ChatGPT голосом на мобильных устройствах или в веб-версии, а модель будет отвечать в реальном времени на основе содержания голосового ввода и контекста диалога. Для таких приложений, как голосовые помощники, чат-боты службы поддержки, образовательные тренажеры, вспомогательные средства для встреч, автомобильные интерфейсы и приложения для общения в реальном времени, ключевыми показателями этой модели станут задержка ответа, обработка перебиваний, распознавание естественных пауз, поддержка непрерывных многораундовых диалогов и стабильность голосового вывода.
Что касается API, OpenAI уже открыла регистрацию для уведомлений о доступе к API GPT-Live-1, и разработчики могут подать заявку на получение последующих уведомлений о доступности. Если в будущем GPT-Live появится в API, предприятия и разработчики смогут интегрировать полнодуплексные голосовые возможности в голосовые службы поддержки, интеллектуальные устройства, системы перевода в реальном времени, инструменты удаленного сотрудничества и отраслевые голосовые агенты.
