Репортаж от Wedoany，Исследовательская группа Orca Team из Института искусственного интеллекта Пекина (Zhiyuan) опубликовала технический отчет Orca: The World is in Your Mind, целью которого является изучение подхода, при котором модель сначала изучает унифицированное представление состояния мира, а затем извлекает из него способности к пониманию, прогнозированию и действию. Домашняя страница проекта: https://orca-wm.github.io, полный текст технического отчета доступен по адресу https://arxiv.org/abs/2606.30534. Публикация вызвала интерес в зарубежном исследовательском сообществе, дискуссии сосредоточены на «мультимодальной репрезентативной модели мира». Отмечается, что Orca пытается изучать общие состояния и законы эволюции, стоящие за различными модальностями, в едином скрытом пространстве мира. Некоторые комментаторы указывают, что Orca ближе к форме ранней универсальной модели мира, которая сначала изучает, как изменяется мир, а затем применяет это представление для решения задач нижнего уровня. Orca также вошла в ежемесячный рейтинг Daily Papers.
Основная концепция Orca — «прогнозирование следующего состояния (Next-State Prediction)», то есть модель фокусируется на том, в каком состоянии находится мир в данный момент и как это состояние переходит в другое под влиянием естественной эволюции, событийных условий или внешних воздействий. Команда абстрагировала методы обучения на два типа: бессознательное обучение (Unconscious Learning) изучает естественные, плотные изменения состояний из непрерывных видео; сознательное обучение (Conscious Learning) вводит язык и события, делая переходы состояний семантически обусловленными. Оба типа обучения служат для построения скрытых переменных мира, способных выражать состояние мира и поддерживать моделирование переходов состояний.
В первом типе, бессознательном обучении, модель изучает изменения состояний из непрерывных видео, не полагаясь на явные языковые аннотации, например, движение объектов, контакт руки с объектом, эволюцию сцены во времени. Второй тип, сознательное обучение, вводит языковые и событийные ограничения, устанавливая связь между языковыми условиями и текущим наблюдением, изучая разреженные, но более значимые изменения состояний.
Оба типа обучения служат для построения скрытых переменных мира, способных выражать состояние мира и поддерживать моделирование переходов состояний.
Команда Orca Team создала автоматизированный конвейер фильтрации и аннотации, обработав данные из интернета и получив базу данных из 125 000 часов видео, 160 миллионов аннотаций событий и 11,5 миллионов пар визуальных вопросов и ответов (VQA). Данные охватывают различные источники, включая взаимодействия от первого лица, манипуляции с объектами от третьего лица, видео выполнения задач роботами, естественные динамические сцены, переходы состояний на уровне событий и общие визуальные вопросы и ответы, и используются для изучения унифицированного скрытого пространства мира на основе сигналов реального мира.
Что касается инфраструктуры обучения, команда Zhiyuan провела системную реструктуризацию на основе собственного фреймворка FlagScale, включая обновление FSDP2, чанкированную кросс-энтропийную потерю (Chunked Cross-Entropy Loss) и оптимизацию предварительной выборки прямого/обратного проходов. В кластере H100 эти оптимизации увеличили пропускную способность обучения до 2,91 выборок/сек/GPU, что в 4,4 раза быстрее по сравнению с базовым уровнем StarVLA.
Для проверки эффективности представления мира команда Orca на этапе нижнего уровня заморозила основную сеть, обучая только легковесные модули считывания. В эксперименте были разработаны три типа считывания: текстовое считывание (Text Readout) проверяет, может ли модель преобразовать представление мира в способности к пониманию и рассуждению; считывание изображений (Image Readout) проверяет, может ли модель предсказать будущее визуальное состояние на основе текущего состояния и условий; считывание действий (Action Readout) проверяет, может ли модель перенести представление мира на управление реальным роботом. Эти три типа способностей соответствуют пониманию, прогнозированию и действию.
Результаты экспериментов показывают, что с увеличением объема данных предварительного обучения потери Orca при обучении постоянно снижаются, а контрольные точки на разных этапах обучения демонстрируют синхронное улучшение показателей текстового, графического и действенного считывания. Все сравнительные результаты получены из одного и того же набора контрольных точек основной сети предварительного обучения и не используют данные для накрутки рейтингов.
В задачах генерации текста и визуальных вопросов и ответов Orca в масштабе 4B показала более высокую среднюю производительность по сравнению с несколькими типами визуально-языковых моделей и моделей мира, причем улучшения сосредоточены в таких аспектах, как переходы состояний, эволюция событий и понимание динамического движения.
В экспериментах со считыванием изображений считывание изображений Orca подчеркивает правдоподобие будущего состояния, лучше сохраняя форму робота, расположение объектов, согласованность сцены и ограничения инструкций.
В экспериментах со считыванием действий реального робота Orca на этапе предварительного обучения не использовала траектории робота с метками действий. На этапе нижнего уровня основная сеть Orca была заморожена, и был подключен только эксперт действий в стиле DiT, обученный с нуля, с использованием 200 внутридоменных траекторий для каждой задачи для последующего обучения. Результаты показывают, что в задачах вне распределения (OOD) по обобщению объектов и сцен Orca по-прежнему дает значительный прирост.
Абляционные эксперименты показывают, что три типа целей обучения — бессознательный переход состояний, сознательный переход событий и языковой контроль VQA — выполняют разные функции.
Команда Orca Team обсудила текущие ограничения в техническом отчете. В отчете указывается, что модель мира не должна определяться только одной выходной модальностью, а должна изучать, как мир представляется, как он изменяется и как это представление может поддерживать понимание, прогнозирование и действие. Этот подход в будущем также может быть применен в таких областях, как физические системы, жизненные процессы, макрокосмос, микроквантовые явления и научные эксперименты. Разные области требуют разных данных и методов моделирования, но сам вопрос «как изучать изменения состояния мира» имеет более фундаментальное значение.
