Репортаж от Wedoany，7 июля американская компания по производству чипов и вычислений в сфере ИИ NVIDIA объявила о сотрудничестве с американской платформой с открытым исходным кодом в области ИИ Hugging Face. В рамках партнерства NVIDIA Isaac GR00T 1.7 и NVIDIA Isaac Teleop будут интегрированы в библиотеку робототехники с открытым исходным кодом LeRobot, а в дальнейшем планируется также внедрение модели NVIDIA Cosmos 3. Данная интеграция ориентирована на сбор данных, обучение моделей, пост-обучение, развертывание и управление рабочими процессами для разработчиков роботов, с целью расширения доступности инструментов для открытой физической ИИ.
LeRobot — это библиотека робототехники с открытым исходным кодом, запущенная Hugging Face, предназначенная для обучения, запуска и обмена наборами данных, моделями, стратегиями и рабочими процессами в области робототехники. Она выступает в качестве унифицированного уровня доступа в процессе разработки роботов, позволяя разработчикам сотрудничать в области управления данными, обучения моделей, оценки стратегий и процессов развертывания. После интеграции Isaac GR00T 1.7 и Isaac Teleop в LeRobot разработчики роботов смогут использовать соответствующие модели, инструменты удаленного управления и форматы данных в более стандартизированной среде, снижая затраты на адаптацию между различными инструментальными цепочками.
NVIDIA Isaac GR00T 1.7 — это базовая модель, представленная NVIDIA для сферы робототехники, которая помогает разработчикам получать высококачественные демонстрационные данные от человека с помощью внешних устройств и подключаться к LeRobot в стандартизированном, интероперабельном формате. Обучение роботов в значительной степени зависит от реальных операционных данных, особенно в таких сценариях, как захват, перемещение, двуручное взаимодействие и выполнение сложных задач. Просто полагаться на симуляционные данные или вручную написанные правила сложно для охвата изменений в реальной среде. После интеграции GR00T 1.7 в LeRobot разработчики смогут связать демонстрационные данные, процессы пост-обучения и разработку стратегий роботов, продвигая адаптацию моделей более унифицированным способом.
Isaac Teleop, в свою очередь, выполняет роль фреймворка для удаленного управления. Разработчики могут собирать демонстрационные данные от человека в процессе выполнения задач роботом с помощью удаленного управления, а затем проводить пост-обучение и развертывание через рабочие процессы LeRobot. Чтобы роботы научились выполнять действия в реальном мире, им необходимо большое количество высококачественных демонстраций от человека. Инструменты удаленного управления позволяют разработчикам более удобно собирать данные для различных роботов, задач и сценариев. После интеграции Isaac Teleop в открытый рабочий процесс сбор данных перестает быть только внутренней возможностью закрытых систем, а становится доступным для более широкого сообщества разработчиков роботов.
Последующая интеграция NVIDIA Cosmos 3 привнесет возможности базовой модели физического мира ИИ в экосистему LeRobot. Разработка роботов часто ограничивается затратами на сбор данных в реальном мире. Во многих сценариях сложно многократно развертывать роботов для получения данных, а также нецелесообразно проводить полевые испытания с высоким риском. Cosmos 3 может использоваться для генерации и улучшения данных о роботах, создания симуляционных сценариев, помощи в разработке стратегий, позволяя разработчикам продолжать обучение и оценку даже при недостатке реальных данных. После объединения реальных данных, данных удаленного управления и синтетических данных учебный материал для моделей роботов станет более разнообразным, что облегчит охват долгосрочных задач.
Данное сотрудничество также соединяет экосистемы разработчиков двух компаний. NVIDIA насчитывает около 3 миллионов разработчиков роботов, Hugging Face — около 16 миллионов разработчиков ИИ, а LeRobot предоставляет точку входа для сотрудничества в сообществе с открытым исходным кодом. Ранее разработка роботов часто была разрознена по средам производителей оборудования, симуляционных платформ, лабораторных репозиториев кода и специализированного программного обеспечения, при этом существовала изоляция инструментальных цепочек между разработчиками ИИ и разработчиками роботов. Соединение GR00T, Teleop, Cosmos и LeRobot позволит большему числу разработчиков ИИ получить доступ к наборам данных о роботах, обучению стратегий и рабочим процессам физического ИИ, а также облегчит разработчикам роботов использование моделей с открытым исходным кодом и методов сотрудничества из экосистемы Hugging Face.
Интегрированные ресурсы NVIDIA в LeRobot также включают набор данных с открытым исходным кодом по физическому ИИ. Этот набор данных был загружен более 15 миллионов раз, содержит более 350 000 реальных и симулированных траекторий, а также 57 миллионов данных о захватах, что может поддержать запуск рабочих процессов робототехники. Для команд, только начинающих разработку роботов, на начальном этапе часто сложнее всего получить не код модели, а доступные данные, воспроизводимые экспериментальные процессы и стандартизированные ресурсы для оценки. Одновременное поступление наборов данных, базовых моделей и инструментов удаленного управления в LeRobot позволяет разработчикам быстрее создавать работающие процессы обучения роботов.
Сотрудничество NVIDIA и Hugging Face объединяет несколько ключевых этапов разработки физического ИИ в одном открытом пути: демонстрационные данные от человека собираются через Isaac Teleop, базовая модель робота подключается через Isaac GR00T 1.7, последующие синтетические и улучшенные данные дополняются Cosmos 3, а процессы обучения, оценки и обмена поддерживаются LeRobot. По мере открытия соответствующих моделей и инструментов разработчики роботов смогут выполнять подготовку данных, адаптацию моделей, обучение стратегий и проверку развертывания в рамках единого открытого рабочего процесса.
