Команда Ян Шо из Харбинского политехнического университета (ХПУ) представила тактильную мировую модель с вероятностью успеха 65% без помех

Репортаж от Wedoany，Команда Ян Шо из ХПУ (Шэньчжэнь) представила тактильную мировую модель TouchWorld, предназначенную для того, чтобы роботы при выполнении ловких манипуляций могли не только прогнозировать изменения изображения, но и предсказывать и использовать тактильную обратную связь для коррекции действий. Публикация TouchWorld знаменует собой новый этап в техническом направлении команды, связанном с тактильными ощущениями. Ранее команда уже выпустила EgoTouch, решающий проблему сбора тактильных данных, и TouchAnything, восстанавливающий тактильную информацию из видео от первого лица. Эти три работы вместе образуют полную цепочку от сбора данных, их расширения до применения модели.

Ян Шо в настоящее время является штатным профессором и научным руководителем аспирантов на факультете компьютерных наук и технологий ХПУ (Шэньчжэнь), а также основателем и генеральным директором PHANES AI. Цель PHANES AI — объединить данные человеческих видео с тактильной модальностью для создания мировой модели ловких манипуляций с перемещением всего тела для человекоподобных роботов, выстроив полную цепочку возможностей от данных, модели до управления. Компания считает, что до выхода роботов в реальные сценарии эксплуатации такие этапы, как тактильные данные, тактильные мировые модели и управление с обратной связью от ловких рук, всё ещё находятся на стадии технической незрелости, и стремится через тактильные данные связать эти возможности воедино.

С точки зрения исследовательского пути, одной из ключевых проблем, которыми занимается команда Ян Шо, является источник данных для обучения роботов. В области воплощённого интеллекта непрерывные данные о действиях человека в реальном мире становятся важным источником для обучения роботов. Такие работы, как NVIDIA EgoScale и Generalist/Gen-1, показывают, что предварительное обучение на больших массивах человеческих данных с последующим дообучением на небольшом количестве данных с реальных роботов может повысить успешность выполнения роботами длительных и сложных задач. Однако команда отмечает, что в этом подходе отсутствует тактильная информация. Видео от первого лица позволяет роботу наблюдать, как действует человек, но не предоставляет ключевой информации, такой как давление пальцев, скольжение объекта или стабильность контакта. PHANES AI считает, что робот должен понимать, что происходит при контакте руки с объектом, и именно это является причиной разработки серии работ от EgoTouch и TouchAnything до TouchWorld.

Основные функции TouchWorld делятся на две части: прогнозирующую (predictive) и реактивную (reactive). Прогнозирующая часть означает, что робот должен предсказывать не только будущее изображение, но и будущее состояние контакта, которое должно быть достигнуто. Например, в задаче нажатия кнопки пульверизатора только по изображению трудно определить, нажата ли кнопка до конца, а прогнозирование тактильной цели позволяет роботу чётко понять, какое давление и контакт пальцев необходимы для завершения подзадачи. Реактивная часть относится к высокочастотной коррекции на основе тактильной обратной связи. В реальной эксплуатации объект может скользить, палец может быть не зафиксирован, и роботу необходимо быстро корректировать действия на основе тактильной обратной связи в реальном времени, а не ждать перепланирования от вышестоящей модели. В конструкции TouchWorld частота вывода реактивного модуля в 4 раза выше, чем у тактильной мировой модели, и каждый раз он выдает поправочное значение.

TouchWorld был протестирован на шести реальных роботизированных задачах: полив цветов, уборка стола, вставка вилки питания, вставка чашки, чистка кастрюли и вытягивание бумажных салфеток. В среде без помех средняя вероятность успеха составила 65,0%; в сценариях с искусственно добавленными помехами средняя вероятность успеха составила 57,2%. По сравнению с такими методами, как Pi-0.5, FTP-1, GR00T N1.7, TouchWorld в двух настройках превзошёл лучшую базовую модель среди сравниваемых методов на 15,7 и 16,0 процентных пункта соответственно. Этот результат подтверждает, что на этапе контакта с задачей прогнозирование тактильной цели и высокочастотная коррекция обратной связи могут повысить стабильность работы робота, доказывая, что тактильные ощущения могут быть интегрированы в мировые модели и операционные стратегии роботов, а не ограничиваться только показаниями датчиков.

PHANES AI отмечает, что тактильная ловкая манипуляция — это системная проблема, которую нельзя решить с помощью одной модели. В процессе разработки команда, столкнувшись с отсутствием зрелых тактильных решений для ловких рук с высокой степенью свободы, самостоятельно обрезала тактильные перчатки и надела их на пятипалую ловкую руку, но столкнулась с такими проблемами, как ломкость перчаток, дрейф системы из-за нагрева ловкой руки, высокий уровень шума данных и низкая эффективность сбора. Поэтому компания инвестирует в инфраструктуру данных, создавая недорогую, незаметную и портативную мультимодальную платформу сбора данных, интегрирующую информацию от первого лица, запястного обзора, положения кисти, тактильных ощущений всей ладони и положения всего тела. Цель — предоставить роботам данные, более близкие к реальным ощущениям человеческой руки.

PHANES AI стремится дополнить системные возможности для ловких манипуляций с перемещением всего тела человекоподобных роботов, включая сбор тактильных данных, оценку тактильных ощущений, тактильные мировые модели, дистанционное управление и аппаратную базу, систему оценки, а также модель ловких манипуляций с перемещением всего тела. Её технический путь — от решения проблемы источников тактильных данных с помощью EgoTouch и TouchAnything, через реализацию прогнозирования и использования тактильных ощущений в TouchWorld, до HumanWBC, нацеленного на замкнутый цикл восприятия и понимания, автономного перемещения, управления всем телом и ловких манипуляций, позволяя роботу перейти от способности «видеть» к способности «подойти, взять и выполнить задачу».

Статья о TouchWorld опубликована на arXiv (arxiv.org/abs/2607.07287), домашняя страница проекта — phanes-lab.github.io/TouchWorld-website/. Статья о TouchAnything (arxiv.org/abs/2605.13083) и домашняя страница проекта (jianyi2004.github.io/TouchAnything-Website/) также находятся в открытом доступе.