Репортаж от Wedoany，Японская SoftBank совместно с японской Yaskawa Electric и американской NVIDIA на базе разрабатываемого SoftBank «облака GPU для центров обработки данных ИИ» демонстрирует систему управления деформируемыми объектами. SoftBank также разработала инструменты поддержки разработки физического ИИ, работающие на этом облаке GPU, охватывающие сбор данных о движении роботов, генерацию синтетических данных, обучение моделей ИИ, симуляционную оценку и развертывание на физических роботах, стремясь объединить разрозненные этапы разработки роботов на единой платформе.

Платформа подключается к библиотеке NVIDIA Omniverse, модели открытого мира Cosmos и фабричному шаблону физического ИИ. Робот сначала подключается к «облаку GPU для центров обработки данных ИИ» SoftBank для сбора данных о движении, затем использует Cosmos для генерации синтетических данных, дополняющих обучающий набор; инженеры могут задействовать вычислительные ресурсы GPU в облаке для обучения модели и выполнить оценку производительности в симуляционной среде, интегрированной с библиотекой Omniverse, после чего проверенная модель развертывается на физическом роботе. SoftBank планирует с помощью этой платформы поддерживать предприятия в непрерывном улучшении моделей на основе данных с реальных объектов и расширять результаты разработки на другие операционные задачи и роботизированные устройства.

Японская Yaskawa Electric отвечает за разработку системы управления деформируемыми объектами на основе технологии «зрение—язык—действие», позволяющей роботу генерировать планы движений на основе визуальной информации и команд задачи, выполняя распознавание, захват и манипуляции. Для демонстрации были выбраны жгуты проводов, форма и расположение которых постоянно меняются; робот оценивает состояние жгута с помощью системы зрения, а ИИ в реальном времени генерирует команды действий, чтобы стабильно уложить жгут в коробку. Соответствующие проверки также охватывают объекты, форма которых меняется в зависимости от задачи, такие как кабели и ткани, в основном ориентируясь на сценарии операций, с которыми традиционное программируемое управление роботами не может стабильно справиться.