Полная линейка больших моделей JoyAI, сбор и обучение данных для воплощённого интеллекта от китайской компании JD.com на Всемирной конференции по искусственному интеллекту

Репортаж от Wedoany，Китайская компания JD.com впервые представила на Всемирной конференции по искусственному интеллекту (WAIC) полную линейку больших моделей JoyAI, цепочку сбора и обучения данных для воплощённого интеллекта, а также AI Home на базе JoyInside, что знаменует расширение возможностей физического ИИ от понимания цифрового контента до восприятия окружающей среды, принятия решений в реальном времени и конкретных действий в физическом мире.

На WAIC JD.com представила «полный комплект» моделей JoyAI для физического мира, охватывающий речь, изображения, видео, взаимодействие в реальном времени и воплощённый интеллект. В области моделей зрения: открытая модель JoyAI-Image-Edit реализует изменение перспективы и пространственное перемещение; JoyAI-Echo поддерживает согласованность длинных видео с помощью кросс-модальной памяти; JoyAI-VL-Interaction сжимает понимание и ответ до миллисекунд. Последняя разработка — модель редактирования видео в реальном времени JoyAI-Video-Edit, позволяющая пользователям изменять кадры в процессе предварительного просмотра. В области голосового взаимодействия JD.com выпустила базовую модель JoyAI-Voice и новую модель голосового взаимодействия JoyAI-Talker, которая распознаёт эмоции и истинные намерения пользователя, обладает низкой задержкой и возможностью прерывания. На этапе перехода от принятия решений к действиям JD.com продемонстрировала базовую модель мобильного управления JoyAI-RA, которая с помощью единой обучающей структуры позволяет различным роботам выравнивать свой опыт с человеческими операциями.

Для поддержки работы физического ИИ в реальном мире JD.com создала первую в мире инфраструктуру данных для воплощённого интеллекта, охватывающую полную цепочку: сбор, хранение, маркировку, обучение, оценку, симуляцию и тестирование. В настоящее время к сбору данных привлечено 600 000 человек, построен крупнейший в мире центр сбора данных для воплощённого интеллекта. Планируется собрать 10 миллионов часов реальных человеческих данных в течение двух лет. На WAIC JD.com открыла крупнейший в отрасли набор данных с точки зрения человека EgoLive, содержащий 2000 часов видео, 65 858 эпизодов, охватывающих 346 задач реального мира. Посетители могут надеть собственный терминал сбора сверхвысокого разрешения JoyEgoCam, выполнить задание перед стеллажом; данные после автоматической маркировки и структурированной обработки поступают в среду цифрового двойника для обучения, а затем развёртываются на физических роботах, образуя полный цикл.

JD.com также упаковала возможности большой модели JoyAI в интеллектуальную аппаратную систему ИИ JoyInside, объединяющую восприятие, понимание, память и взаимодействие для обработки распознавания речи, понимания намерений, долговременной памяти и координации нескольких устройств в домашней среде. На WAIC была продемонстрирована интеллектуальная кровать с JoyInside, способная отслеживать физиологические показатели сна и активно задавать вопросы; а также проекционный светильник JoyInside AI, который с помощью безэкранной проекции и мультимодального сканирования и исправления заданий обеспечивает ответы на вопросы и корректировку в реальном времени. В настоящее время среднее количество диалоговых циклов интеллектуальных устройств, подключённых к JoyInside, увеличилось более чем на 120%, сотрудничество охватывает почти 200 брендов в таких отраслях, как бытовая техника, домашняя мебель, роботы и игрушки с ИИ. Ожидается, что в этом году к системе будет подключено более 10 миллионов конечных устройств.