Репортаж от Wedoany，Инженеры Alibaba представили набор Qwen-Robot Suite, состоящий из трёх базовых моделей ИИ, предназначенных для роботов и интеллектуальных агентов. Эти модели способны не только понимать текст и изображения, но и выполнять действия в физическом мире.
Набор включает три модели, каждая из которых ориентирована на различные задачи робототехники.
Qwen-RobotNav — это модель, интегрирующая различные сценарии навигации, включая следование инструкциям, перемещение к заданной точке, поиск объектов, отслеживание целей и автономное вождение. Модель позиционируется как базовая навигационная модель для систем интеллектуальных агентов. Внешний планировщик может комбинировать её с подзадачами, полученными в результате декомпозиции крупной задачи, и динамически переключать режимы модели в процессе выполнения.
Модель поддерживает настройку протокола наблюдения, что позволяет системе динамически адаптироваться при обработке визуального контекста, например, регулировать количество токенов или веса различных камер. Инженеры обучили её на 15,6 миллиона образцов, увеличив количество параметров с 2 до 8 миллиардов для повышения производительности.
Qwen-RobotManip — это визуально-языковая-двигательная модель на основе Qwen-VL, отвечающая за физическое взаимодействие с объектами. Модель предназначена для решения проблемы гетерогенности роботизированных данных, то есть различий, возникающих из-за разной конструкции, датчиков и способов управления роботов.
Для решения этой проблемы Qwen-RobotManip использует механизм выравнивания представлений, действий и поведения, что позволяет разработчикам проще осуществлять перенос навыков между различными роботами. Модель обучена на наборе данных, включающем 38 000 видеороликов, роботизированные данные и синтетические данные.
Qwen-RobotWorld — это модель мира, способная «предсказывать» тенденции эволюции физической среды на основе наблюдений в реальном времени и текстовых инструкций. Модель может генерировать будущие визуальные траектории для различных сценариев.
В настоящее время все модели из набора являются открытыми, а демонстрационные видео доступны для просмотра на официальной странице.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
