Репортаж от Wedoany，9 июля сотрудничество NVIDIA и Hugging Face в области открытой робототехники вышло на новый этап. Стороны представят для разработчиков роботов открытые базовые модели, фреймворки для сбора данных и рабочие процессы обучения и развертывания, объединив экосистему GPU NVIDIA, программный стек CUDA, платформу Isaac для роботов с библиотекой моделей Hugging Face и сообществом разработчиков, чтобы снизить порог для обучения, тонкой настройки и развертывания ИИ в робототехнике.
Ключевой точкой входа в это сотрудничество является открытая библиотека робототехники Hugging Face — LeRobot. LeRobot используется для обучения, запуска и обмена наборами данных, моделями, стратегиями и рабочими процессами в робототехнике. NVIDIA интегрирует в него возможности Isaac GR00T 1.7, Isaac Teleop и другие, позволяя разработчикам выполнять сбор данных, их стандартизацию, пост-обучение моделей, оценку производительности и развертывание в едином процессе. Сложность разработки роботов заключается не только в самой модели, но и в источниках данных, среде симуляции, адаптации к реальным роботам, оценке задач и развертывании на конечных устройствах. Раньше разработчикам часто приходилось отдельно заниматься управлением оборудованием, фреймворками обучения, инструментами симуляции, форматами данных и платформами развертывания, а фрагментарность процесса увеличивала затраты. Объединив модели, данные, симуляцию и инструменты развертывания для роботов в открытый рабочий процесс, NVIDIA и Hugging Face фактически открывают цепочку разработки больших моделей для роботов для сообщества с открытым исходным кодом.
Isaac GR00T 1.7 является ключевой моделью в этом сотрудничестве. Она относится к открытым моделям визуально-языковых действий для человекоподобных роботов и помогает разработчикам адаптировать модель к новым формам роботов и сценариям задач.
Базовые модели для роботов отличаются от моделей ИИ, которые обрабатывают только текст или изображения. Им необходимо понимать взаимосвязь между визуальным вводом, языковыми инструкциями, состоянием самого робота и выводом действий, а также преобразовывать результат в выполнимую стратегию движения. Такие действия, как захват, перемещение, поворот, уклонение от препятствий, размещение, открытие дверей, упорядочивание объектов, требуют от модели формирования замкнутого цикла между восприятием, рассуждением и управлением. Платформы NVIDIA GPU, CUDA, Isaac Sim, Isaac Lab и Jetson обеспечивают возможности обучения, симуляции, ускоренных вычислений и развертывания на конечных устройствах; Hugging Face предоставляет хостинг моделей, обмен наборами данных, совместную работу с открытым исходным кодом и каналы распространения для разработчиков. Их объединение позволяет предприятиям, исследовательским институтам и разработчикам в области робототехники быстрее получать модели, данные и инструменты обучения, вместо того чтобы начинать с нуля, выстраивая базовые фреймворки.
Isaac Teleop, в свою очередь, отвечает за этап сбора данных для роботов. Этот фреймворк помогает разработчикам собирать высококачественные демонстрационные данные человека с помощью внешних устройств и интегрировать их в LeRobot в стандартизированном, интероперабельном формате. Обучение роботов сильно зависит от данных о действиях, особенно о траекториях демонстрации человека, захватах, процессах манипуляции и неудачных примерах; чем более стандартизированы эти данные, тем выше эффективность повторного использования моделей и совместной работы сообщества.
NVIDIA также планирует интегрировать Cosmos 3 в LeRobot. Cosmos 3, как мировая базовая модель для физического ИИ, может использоваться для генерации и дополнения данных о роботах, моделирования сценариев и поддержки разработки стратегий, когда реальных данных недостаточно или их сбор слишком дорог. Обучение роботов часто ограничено стоимостью сбора реальных данных, особенно в опасных сценариях, сложных условиях и для низкочастотных задач. Симуляция и синтетические данные могут дополнить обучающие выборки, помогая модели пройти больше проверок до внедрения в физического робота.
Это сотрудничество переведет обучение открытых моделей для роботов с этапа «публикации отдельных моделей» на единый процесс «модель, данные, симуляция, пост-обучение, оценка, развертывание». Последующее внимание будет сосредоточено на эффективности адаптации GR00T 1.7 к различным типам роботов, качестве сбора данных Isaac Teleop, способности Cosmos 3 генерировать данные после интеграции в LeRobot, а также на производительности развертывания моделей визуально-языковых действий на периферийных платформах, таких как Jetson.
