Репортаж от Wedoany，Компания Yuanli Lingji выпустила воплощённую мировую модель DW0.5 и интегрировала её в фреймворк пост-обучения DFOL2.0 для воплощённого интеллекта, управляемого мировой моделью. Эта базовая модель поддерживает мультимодальный ввод, включая команды задач, изображения и видео, и может прогнозировать последующие состояния видео на основе предыдущих действий.
Воплощённый интеллект как физический ИИ нацелен на постоянное повышение производительности роботов в различных средах и условиях сбоев, однако маховик пост-обучения долгое время не мог эффективно вращаться. Одно тестирование на реальном роботе требует использования самого робота, площадки и персонала, а сбой может привести к прерыванию задачи; обратная связь от человека близка к реальной оценке, но её трудно обеспечить с высокой частотой; традиционное моделирование дёшево, но не может точно воспроизвести такие неопределённости реального мира, как контакт, затенение и деформация.
DW0.5 прошла совместное предварительное обучение на десятках тысяч часов многовидовых данных с реальных роботов, обладает мощными возможностями моделирования и может генерировать видео нормальной работы манипуляторов, а также сценарии сбоев задач, основанные на ошибочных действиях, для поддержки онлайн-обучения с подкреплением в фреймворке DFOL2.0. Как высокоточный симулятор, DW0.5 переносит обучение с подкреплением в виртуальную среду: VLA сначала предлагает кандидатные действия, DW0.5 прогнозирует будущее и оценивает риски успеха, сбоя и отклонения, а затем передаёт обратную связь обратно в обучение с подкреплением. Согласно опубликованным данным, этот процесс позволяет снизить потребность в реальных данных для пост-обучения на 60%, а общие затраты на обучение — на 40%.
DW0.5 реконструирует логику моделирования с помощью трёх основных экспертных модулей. Video Expert и Action Expert совместно обеспечивают прогнозирование последствий действий, при этом Action Expert использует действия как структурный априорный фактор, принудительно связывая действия с генерацией видео через покадровое выравнивание, применяя внимание MoT и групповую диагональную маску внимания для обеспечения соответствия последовательности действий и видео. Value Expert отвечает за оценку ценности и формирование обратной связи, преобразуя сгенерированное будущее в плотные сигналы ценности, включая оценку вероятности успеха для текущего состояния, кандидатных траекторий или всего теста, с корреляцией порядка ценности более 95%.
DW0.5 явно требуется генерировать траектории сбоев, чтобы избежать смещения, вызванного обучением только на успешных данных. Её стратегия данных охватывает четыре типа источников: публичные данные о воплощённом интеллекте и собранные данные с роботов, данные из интернет-видео, данные о деятельности человека от первого лица, а также данные тестирования реальных роботов и симуляции, включая промежуточные состояния, такие как отклонение, застревание и восстановление.
На уровне применения DW0.5 играет три роли в обучении и развёртывании VLA: офлайн-аугментация данных и построение предпочтений, среда для пост-обучения с подкреплением, а также планирование и оценка безопасности при развёртывании. Благодаря этой возможности модель демонстрирует выдающиеся результаты в следовании сложным командам и многошаговым действиям, многомерной непрерывной генерализации между средами, задачами и конфигурациями, согласованности генерации многовидового видео, а также высокой согласованности между действиями и генерацией видео.
В соответствии с общим процессом, базовая модель DM0.5 генерирует набор начальных действий, DW0.5 в виртуальной среде массово генерирует успешные и неудачные траектории, затем тренер обучения с подкреплением CFG-RL оценивает каждую траекторию, и после возврата вознаграждения обновляются веса модели. Большая часть данных в этом цикле генерируется онлайн DW0.5, что снижает высокую зависимость от реальных роботов.
В таких сложных задачах, как надувание шариков, развешивание одежды и складывание бумажных коробок, модели, интегрированные с DFOL2.0, по сравнению с простым базовым SFT, значительно повысили вероятность успеха на ключевых этапах. В задаче надувания шариков вероятность успеха этапа надувания выросла с 10% до 90%, а вставки насоса в шарик — с 10% до 100%. В задаче развешивания одежды вероятность успешного размещения на вешалке удвоилась с 50% до 100%, а вставки вешалки в одежду выросла с 60% до 90%. В задаче складывания бумажных коробок вероятность успеха складывания правой и левой сторон коробки выросла с 35% до 55% и 50% соответственно.
В бенчмарках EWMBench и WorldArena DW0.5 получила глобальный SOTA (по состоянию на 9 июля) с оценками 4,73 и 73,54 соответственно.
Компания Yuanli Lingji заявила, что DW0.5 уже внутренне завершила цикл пост-обучения воплощённого интеллекта DFOL2.0, начала выполнять задачи генерации данных, оценки ценности и итерации стратегий, а также была интегрирована в платформу DexDev MaaS. Для моделей с недостаточной способностью к нулевому обобщению можно восполнить возможности через пост-обучение и вернуть их в сервис. Сооснователь Yuanli Lingji Ван Тяньцай подчеркнул, что мировая модель всё ещё требует калибровки на реальных роботах, и реальные данные имеют незаменимую ценность. Он отметил, что с улучшением возможностей визуальных моделей персонал на месте может собирать данные об операциях с помощью камеры Ego, снижая порог для пост-обучения на месте.
