Репортаж от Wedoany，Компания NVIDIA в партнёрстве с открытым сообществом искусственного интеллекта Hugging Face интегрирует свою модель визуально-языковых действий для человекоподобных роботов Isaac GR00T 1.7 и фреймворк сбора данных Isaac Teleop в открытую робототехническую библиотеку Hugging Face LeRobot, а также планирует в ближайшее время добавить передовую модель физического ИИ Cosmos 3. Эти интеграции направлены на предоставление разработчикам более доступного и стандартизированного пути сквозной разработки роботов, а также на стимулирование сотрудничества и инноваций в открытом робототехническом сообществе.
Сооснователь и главный научный сотрудник Hugging Face Томас Вольф отметил, что открытый исходный код — это способ превращения передовых исследований в материалы, которые люди могут изучать, адаптировать и на основе которых создавать новое. С интеграцией Isaac GR00T 1.7 и Isaac Teleop в LeRobot разработчики смогут обучать и оценивать роботов в открытой среде, используя общие модели, данные и рабочие процессы; Cosmos 3, который вскоре присоединится, предоставит сообществу возможность включить передовые мировые модели в тот же цикл сотрудничества.
Hugging Face LeRobot — это библиотека с открытым исходным кодом для обучения, запуска и обмена наборами данных, моделями, стратегиями и рабочими процессами в робототехнике. Данное партнёрство объединяет 3 миллиона разработчиков роботов от NVIDIA с 16 миллионами создателей ИИ от Hugging Face, расширяя доступ к передовым инструментам физического ИИ. Конкретные элементы интеграции включают: Isaac Teleop как фреймворк сбора данных с открытым исходным кодом, помогающий разработчикам захватывать высококачественные демонстрации человека в стандартизированном взаимозаменяемом формате и напрямую расширять общие наборы данных в LeRobot; Isaac GR00T 1.7 как первая открытая и коммерчески жизнеспособная базовая модель для роботов, упрощающая процессы пост-обучения и развёртывания через рабочие процессы LeRobot, поддерживающая адаптацию модели к новым корпусам и задачам роботов, а также предоставляющая эталонную производительность; Cosmos 3 как передовая базовая модель физического ИИ, которая скоро будет запущена в LeRobot для генерации и улучшения данных о роботах, моделирования сценариев и поддержки разработки стратегий при ограниченных реальных данных.
Эти интеграции основаны на существующих ресурсах NVIDIA, поддерживающих полный цикл разработки роботов. К таким ресурсам относятся: крупнейший открытый набор данных физического ИИ, загруженный более 15 миллионов раз, содержащий более 350 000 реальных и симулированных траекторий и 57 миллионов захватывающих действий; симуляционные фреймворки на базе Isaac Sim и Isaac Lab; Isaac Lab-Arena в центре сред LeRobot, позволяющая разработчикам быстро прототипировать сложные симуляционные среды, регистрировать их в LeRobot EnvHub и использовать для обучения и оценки универсальных стратегий роботов, таких как GR00T, Pi и SmolVLA; а также интеграция NVIDIA Jetson Thor с LeRobot Reachy 2, поддерживающая развёртывание моделей VLA на человекоподобных роботах с открытым исходным кодом.
