Репортаж от Wedoany，Шэньчжэньская робототехническая компания X Square Robot выпустила XRZero-G0 — открытый аппаратно-программный фреймворк для сбора обучающих данных с участием человека-оператора, генерации стратегий и их тестирования на реальных роботах. Код распространяется по лицензии MIT и размещён на GitHub вместе с набором данных G0-Dataset.
Традиционный подход требует использования физических роботов для сбора обучающих образцов, при этом каждая сессия даёт крайне ограниченное количество демонстрационных данных, что напрямую сдерживает масштаб наборов данных, необходимых для обучения воплощённого ИИ. Человек-демонстратор предлагает более дешёвый источник данных, и X Square Robot интегрировала этот метод в общедоступную систему. Компания разрабатывает роботов для сценариев физического труда, и ранее таким компаниям приходилось тратить значительное время и средства на ручное управление роботами для сбора обучающих образцов.
Физические роботы воспринимают окружающую среду с помощью нескольких камер. Наголовная камера отвечает за захват широкой сцены, а наручные камеры детально фиксируют взаимодействие рук с объектами. Многие установки для сбора данных с ручным управлением полагаются только на вид с наручных камер, что приводит к расхождению между обучающими данными и реальным восприятием робота при развёртывании. XRZero-G0 использует наголовную камеру и две наручные камеры для синхронной записи широкого контекста сцены и детальных манипуляций крупным планом, отображая эти ракурсы в общее представление, совместимое с восприятием робота. В сочетании с носимым VR-интерфейсом и сменными захватами один оператор может генерировать демонстрационные данные, пригодные для разных типов роботов.
Данные от человека-демонстратора могут иметь проблемы с качеством, что снижает их обучающую ценность. XRZero-G0 реализует замкнутый цикл, включающий сбор, проверку, обучение и оценку, для отбора образцов, поступающих на этап обучения. На уровне наблюдения ограничения многовидовой геометрической согласованности уменьшают рассогласование между изображениями и движениями; на кинематическом уровне алгоритм полной обратной кинематики с ограничениями на коллизии и суставные углы отсеивает недопустимые траектории; на уровне стратегии воспроизведение на физическом роботе служит окончательной проверкой. По данным X Square Robot, в контролируемых условиях эффективный выход данных системы достигает почти 85%.
Компания отмечает, что данные, собранные без робота и с реальным роботом, могут работать совместно. Комбинация примерно 10 демонстрационных фрагментов, собранных человеком, с 1 фрагментом, записанным реальным роботом, в тестовых задачах достигает производительности, сопоставимой с обучающим набором, полностью состоящим из данных реального робота. Данные, собранные человеком, обеспечивают широкий охват поведения, а небольшое количество данных реального робота используется для привязки физических параметров, таких как задержки двигателей и трение. В тестовых условиях это соотношение снижает потребность в данных реального робота до 20 раз.
Набор данных G0-Dataset содержит более 2000 часов проверенных демонстраций, охватывающих визуальную, тактильную и слуховую модальности, включая 3000 различных операционных задач, распределение которых соответствует длиннохвостому закону. Пиковая скорость сбора данных оператором достигает 93,2 фрагмента в час. Набор данных поддерживает крупномасштабное предварительное обучение и исследования переноса между различными типами роботов. X Square Robot заявляет, что стратегии, обученные на основе этого фреймворка, способны обобщаться на среды сбора с различными позами роботов, высотой столов и ракурсами, а также демонстрируют способность к zero-shot переносу на платформы роботов, не входящие в обучающий набор, выполняя задачи без необходимости тонкой настройки под новую платформу.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
