Репортаж от Wedoany，Подразделение NVIDIA GEAR совместно с командой Фэй-Фэй Ли, Технологическим институтом Джорджии и другими организациями представило систему Real2Sim под названием SimFoundry. Эта система способна автоматически создавать интерактивную, обучаемую и тестируемую роботизированную симуляционную среду на основе одного видео из реального мира.
SimFoundry позволяет автоматически заменять объекты, изменять компоновку сцены и генерировать новые операционные задачи, сохраняя при этом функциональность и Affordance объектов. Таким образом, из одного видео создаётся практически бесконечное пространство для генерации симуляционных данных. Система замыкает цикл Real-to-Sim, объединяя генерацию сцен, генерацию данных, оценку стратегий и обучение стратегий.
Обучение роботизированных стратегий долгое время зависело от дорогостоящих данных из реального мира, и симуляционные среды стали масштабируемой альтернативой. Однако создание симуляционных сред с реалистичным геометрическим и физическим взаимодействием по-прежнему требует значительных ручных усилий по моделированию. SimFoundry использует модели 3D-реконструкции и генерации для быстрого преобразования реального мира в Sim-ready среду, поддерживающую физическое взаимодействие.
Роботизированные стратегии, обученные на данных, сгенерированных SimFoundry, могут быть развёрнуты на реальных роботах без дополнительного обучения (zero-shot), обеспечивая перенос в реальный мир для таких задач, как многошаговые операции, двуручное взаимодействие и манипуляции с объектами, имеющими сочленения.
Процесс SimFoundry состоит из трёх этапов: Extraction (извлечение), Generation (генерация) и Augmentation (усиление). На этапе Extraction система, получив RGB-видео, с помощью оценки глубины и моделей визуально-языкового моделирования (VLM) идентифицирует и сегментирует объекты в сцене. На этапе Generation используются модели 2D-to-3D для создания трёхмерных сеток, а также модели, такие как FoundationPose, для восстановления положения объектов. Одновременно выводятся структуры сочленений для объектов с шарнирами. В итоге создаётся симуляционная среда, пригодная для использования в физических движках, таких как IsaacLab, завершая построение Digital Twin (цифрового двойника).
Augmentation является ключевой инновацией SimFoundry. На основе цифрового двойника автоматически генерируются Digital Cousins (цифровые кузены), которые расширяют возможности в трёх измерениях: изменение внешнего вида и геометрической формы объектов с сохранением их функциональности (Object Cousins); изменение компоновки сцены или добавление новых объектов для создания новых сцен (Scene Cousins); автоматический вывод новых операционных задач на основе Affordance объектов сцены (Task Cousins).
Исследование подтвердило эффективность SimFoundry на двух роботизированных платформах и семи типах операционных задач. В экспериментах по оценке стратегий производительность роботов в SimFoundry была высоко согласована с реальным миром: средний коэффициент корреляции Пирсона составил 0,911, а среднее максимальное нарушение ранжирования (MMRV) — 0,018. После внедрения Digital Cousins средняя успешность выполнения задач роботами в реальном мире повысилась на 17% (Object Cousins), 21% (Scene Cousins) и 40% (Task Cousins) по сравнению с использованием только цифровых двойников.
Авторы исследовательской работы представляют такие организации, как NVIDIA GEAR, Технологический институт Джорджии, Стэнфордский университет, UT Austin и Университет Торонто. Ключевые исследователи включают первого автора Надуна Ранаваку Араччиге, Джошуа Вонга, Цзяньюнь Фаня, Тяньюань Дая, Масуд Могани, Хан Иня, а также Джима Фаня, Фэй-Фэй Ли, Даньфэй Сюй, Юйкэ Чжу, Аджая Мандлекара, Жохань Чжана, Вэньбовэня и других.
