Xiaomi выпустила воплощённую модель с 38 миллиардами параметров, эффективность повышена в 82,9 раза

Репортаж от Wedoany，15 июля компания Xiaomi официально представила авторегрессионную мировую базовую модель Xiaomi-Robotics-U0 с 38 миллиардами параметров. Это первая унифицированная воплощённая генеративная модель, объединяющая базовую модель генерации изображений с воплощённым моделированием мира. Она заняла первое место в генерации воплощённого видео на платформе World Arena, а в сложных тестах на реальных роботах средний прогресс выполнения задач увеличился более чем на 26%.

В отличие от традиционных воплощённых мировых моделей, обучаемых только на траекториях роботов, Xiaomi-Robotics-U0 объединяет в единой авторегрессионной структуре многовидовую генерацию воплощённых сцен, воплощённый перенос, генерацию интерактивных видео с роботами, универсальную генерацию текста в изображение и функции редактирования изображений. Модель рассматривает воплощённую генерацию как расширение базовой генерации изображений и видео, позволяя напрямую генерировать многовидовые данные наблюдений роботов, соответствующие физическим законам, на основе языковых инструкций.

В области генерации воплощённых сцен модель поддерживает многовидовую генерацию. В области воплощённого переноса Xiaomi-Robotics-U0 может переносить существующие сцены в новые, сохраняя неизменным интерактивное поведение робота, достигая экспоненциального расширения сцен за счёт разделения рабочего пространства, фона, освещения и других параметров. В области генерации интерактивных видео с роботами модель на основе начальных наблюдений и команд управления может прогнозировать будущий процесс взаимодействия, поддерживая прокрутку сцен и многовидовое прогнозирование, обладая способностью к обобщению без обучения.

В области универсальной генерации текста в изображение и редактирования изображений Xiaomi-Robotics-U0 сохраняет соответствующие возможности, обеспечивая высококачественный визуальный синтез между сценами, объектами и стилями, а также поддерживает редактирование по инструкциям с изменением намерений при сохранении структуры.

В ходе ручного тестирования Xiaomi-Robotics-U0 показала лучшие результаты в генерации воплощённых сцен и воплощённом переносе по сравнению с GPT-Image-2.0. В задачах точного манипулирования, обработки деформируемых объектов и длительных операций стратегия обучения с использованием данных, расширенных этой моделью, при неизвестном освещении и посторонних фоновых помехах позволила увеличить средний прогресс выполнения задач на 26,3%. По сравнению с GPT-Image-2, Xiaomi-Robotics-U0 демонстрирует явные преимущества в многовидовой согласованности, тонкой управляемости и устойчивости переноса, эффективно избегая проблем смещения объектов между видами и пространственных искажений.

На эталонном тесте World Arena, созданном совместно Университетом Цинхуа, Пекинским университетом и другими, Xiaomi-Robotics-U0 заняла первое место среди более чем 100 моделей, получив наивысшие баллы по управляемости, следованию инструкциям и качеству взаимодействия.

Xiaomi также внедрила схему ускорения вывода FlashAR+, которая с помощью лёгкой постобработки и технологии vLLM, в сочетании с диагональным параллельным декодированием и пакетным планированием кэша ключей-значений, сокращает время генерации одного образца при разрешении 1024*1024 с 450,77 секунд до 5,44 секунд, повышая эффективность в 82,9 раза.

При фактическом развёртывании на автомобильном заводе Xiaomi роботы Xiaomi уже выполняют задачи на станции установки саморезов, достигая 98% успешности двусторонних операций, а также 90% успешности при сортировке боковых крышек центральной консоли и складывании и утилизации контейнеров.

Ключевой прорыв Xiaomi-Robotics-U0 заключается в переносе визуальных знаний интернет-масштаба в воплощённые сцены, что изменяет традиционный подход, основанный только на тонкой настройке данных траекторий роботов, и открывает новое техническое направление для создания масштабируемых двигателей данных для воплощённых интеллектуальных систем.