Репортаж от Wedoany，Компания MoXin Technology совместно с академиком Чжэцзянского университета Пань Юньхэ и компанией Huawei представила модель реального времени для интерактивного мира MoWorld на базе отечественного NPU. Скорость её вывода превышает 50 FPS, а стоимость развёртывания составляет всего 30% от стоимости аналогичного решения на GPU.
За последний год модели мира стали горячей точкой в сфере ИИ. Настоящая модель мира должна понимать пространство и предсказывать следующее состояние, при этом работа в реальном времени имеет решающее значение — частота кадров более 30 FPS считается плавной, но большинство существующих моделей не соответствуют этому требованию.
Недавно компания MoXin Technology, специализирующаяся на разработке и коммерциализации 4D-моделей мира, совместно с Чжэцзянским университетом и Huawei представила MoWorld. Это первая полностью стековая модель мира для интерактивного взаимодействия в реальном времени на базе отечественного NPU. Скорость вывода превышает 50 FPS, а стоимость развёртывания снижена до 30% от стоимости аналогичного решения на GPU. Технический отчёт уже опубликован, страница проекта: https://moxin-tech.github.io/moworld/. В ближайшее время будут открыты веса и код, а также предоставлены услуги на базе суперузлов с отечественными NPU.
По сравнению с моделями генерации видео, ключевое отличие моделей мира заключается в интерактивности в реальном времени. Ранее модели мира в основном оставались на стадии академических экспериментов. Ключевые вопросы перехода от исследований к промышленности включают возможность взаимодействия в реальном времени, стабильность развёртывания и контроль затрат. MoWorld был представлен на этом фоне. Команда MoXin и стратегический акционер Huawei после почти года технических исследований решили ряд ключевых проблем для практического применения. MoWorld принимает первый кадр, текст и траекторию камеры в качестве условий, генерирует будущее состояние мира, соответствующее состоянию сцены и управляющим входам, и поддерживает интерактивное взаимодействие пользователя в реальном времени в сгенерированном мире с помощью непрерывного управления, достигая на отечественном NPU скорости вывода более 50 FPS, а системная архитектура обеспечивает чрезвычайно низкую стоимость вывода.
Для модели мира качество генерации — это первый шаг, а стоимость обучения, эффективность вывода и способность к интерактивности в реальном времени определяют возможность практического применения. MoWorld оптимизировал весь конвейер: от построения данных, обучения модели до системного развёртывания. Что касается данных, для обучения модели мира требуются трёхмерная информация, такая как видео, текст, траектория камеры и глубина пространства, и интернет-видео не удовлетворяет этим требованиям. Поэтому MoWorld, основываясь на многолетних исследованиях в области 3D- и 4D-моделирования, создал масштабируемую систему производства и управления данными, повышая качество корпуса данных с помощью многомерной фильтрации качества.
Для достижения возможности развёртывания в реальном времени MoWorld провёл системную оптимизацию на трёх этапах: обучение, дистилляция и вывод. На этапе обучения, с учётом особенностей отечественного NPU, были внедрены стратегии сверхплотного параллелизма внимания и параллелизма длинных последовательностей токенов, что позволило проводить сверхдлинное обучение и вывод на 2000 кадрах. На этапе вывода, с помощью конвейерного выполнения, иерархического параллелизма последовательностей и динамического смешанного точного квантования, модель MoE с 14 миллиардами параметров достигла на платформе отечественного NPU скорости вывода в реальном времени до 50 FPS, а стоимость вывода составила всего 30% от стоимости аналогичного решения на GPU.
От построения конвейера данных до длительного обучения и недорогого развёртывания в реальном времени, MoWorld перевёл модель мира из стадии «способности генерировать» в стадию «способности взаимодействовать и развёртываться». В ближайшее время MoWorld начнёт предоставлять услуги на базе суперузлов с отечественными NPU.
Благодаря возможности взаимодействия в реальном времени, MoWorld переходит от технической проверки к созданию пространственной интеллектуальной инфраструктуры для нескольких отраслей. Как управляемый «движок пространственного моделирования», он предоставляет отраслям возможность генерации сцен, которые являются интерактивными, поддающимися моделированию и экономически эффективными.
В области игр и интерактивных развлечений MoWorld поддерживает полное управление камерой с 6 степенями свободы. Пользователи могут погружаться в виртуальные миры с помощью клавиш W/A/S/D и мыши, сцены поддерживают разрешение 1080P и выше, охватывая природные ландшафты, аниме и игровую анимацию.
В области воплощённого интеллекта и автономного вождения MoWorld предоставляет недорогой и высокоточный цифровой полигон для роботов и систем автономного вождения, особенно предоставляя командам по разработке интеллектуального вождения большое количество высокоточных сред, позволяя ИИ учиться взаимодействовать с физической средой в виртуальном мире.
В области кинопроизводства MoWorld позволяет создателям свободно регулировать угол обзора в сгенерированном виртуальном мире, предварительно просматривать эффекты изображения в реальном времени и точно редактировать кадры, достигая режиссёрского уровня управления камерой.
В области цифровых двойников и трёхмерной реконструкции видео, сгенерированные MoWorld, обладают сверхотраслевой геометрической согласованностью и могут напрямую использоваться для трёхмерной реконструкции внутренних сцен, обеспечивая высокую точность, стабильную структуру и хорошую пространственную согласованность, предоставляя высокоточные и экономически эффективные решения для таких сценариев, как цифровые двойники, визуализация зданий, виртуальные выставочные залы и иммерсивные игры.
Конкурентная среда в области больших языковых моделей и моделей генерации видео уже определена, но в области моделей мира пока нет общепризнанного лидера и отраслевых стандартов. Для отечественных команд это важное окно возможностей. MoWorld — это первый продукт, который на чисто отечественном NPU реализовал полный замкнутый цикл обучения и вывода, с интерактивным выводом в реальном времени более 50 FPS и стоимостью вывода всего 30% от стоимости аналогичного решения на GPU. Капитал отреагировал быстро: компания MoXin Technology недавно завершила финансирование на сумму сотен миллионов долларов США с участием ведущих долларовых фондов, Государственного стратегического резервного фонда и более десяти промышленных инвесторов. Ранее MoXin получал инвестиции от фондов, таких как Huawei-backed Hubble Investment и Lenovo-backed Lianrong Zhidao.
