Репортаж от Wedoany，Китайская компания JD.com впервые представила на Всемирной конференции по искусственному интеллекту (WAIC) полную линейку больших моделей JoyAI, цепочку сбора и обучения данных для воплощённого интеллекта, а также AI Home на базе JoyInside, что знаменует расширение возможностей физического ИИ от понимания цифрового контента до восприятия окружающей среды, принятия решений в реальном времени и конкретных действий в физическом мире.
На WAIC JD.com представила «полный комплект» моделей JoyAI для физического мира, охватывающий речь, изображения, видео, взаимодействие в реальном времени и воплощённый интеллект. В области моделей зрения: открытая модель JoyAI-Image-Edit реализует изменение перспективы и пространственное перемещение; JoyAI-Echo поддерживает согласованность длинных видео с помощью кросс-модальной памяти; JoyAI-VL-Interaction сжимает понимание и ответ до миллисекунд. Последняя разработка — модель редактирования видео в реальном времени JoyAI-Video-Edit, позволяющая пользователям изменять кадры в процессе предварительного просмотра. В области голосового взаимодействия JD.com выпустила базовую модель JoyAI-Voice и новую модель голосового взаимодействия JoyAI-Talker, которая распознаёт эмоции и истинные намерения пользователя, обладает низкой задержкой и возможностью прерывания. На этапе перехода от принятия решений к действиям JD.com продемонстрировала базовую модель мобильного управления JoyAI-RA, которая с помощью единой обучающей структуры позволяет различным роботам выравнивать свой опыт с человеческими операциями.
Для поддержки работы физического ИИ в реальном мире JD.com создала первую в мире инфраструктуру данных для воплощённого интеллекта, охватывающую полную цепочку: сбор, хранение, маркировку, обучение, оценку, симуляцию и тестирование. В настоящее время к сбору данных привлечено 600 000 человек, построен крупнейший в мире центр сбора данных для воплощённого интеллекта. Планируется собрать 10 миллионов часов реальных человеческих данных в течение двух лет. На WAIC JD.com открыла крупнейший в отрасли набор данных с точки зрения человека EgoLive, содержащий 2000 часов видео, 65 858 эпизодов, охватывающих 346 задач реального мира. Посетители могут надеть собственный терминал сбора сверхвысокого разрешения JoyEgoCam, выполнить задание перед стеллажом; данные после автоматической маркировки и структурированной обработки поступают в среду цифрового двойника для обучения, а затем развёртываются на физических роботах, образуя полный цикл.
JD.com также упаковала возможности большой модели JoyAI в интеллектуальную аппаратную систему ИИ JoyInside, объединяющую восприятие, понимание, память и взаимодействие для обработки распознавания речи, понимания намерений, долговременной памяти и координации нескольких устройств в домашней среде. На WAIC была продемонстрирована интеллектуальная кровать с JoyInside, способная отслеживать физиологические показатели сна и активно задавать вопросы; а также проекционный светильник JoyInside AI, который с помощью безэкранной проекции и мультимодального сканирования и исправления заданий обеспечивает ответы на вопросы и корректировку в реальном времени. В настоящее время среднее количество диалоговых циклов интеллектуальных устройств, подключённых к JoyInside, увеличилось более чем на 120%, сотрудничество охватывает почти 200 брендов в таких отраслях, как бытовая техника, домашняя мебель, роботы и игрушки с ИИ. Ожидается, что в этом году к системе будет подключено более 10 миллионов конечных устройств.
