Репортаж от Wedoany，Alibaba ATH запускает продукт HappyOyster 1.0 (Счастливая устрица) — интерактивную модель открытого мира реального времени. Этот продукт способен создавать и динамически развивать цифровые миры, позволяя пользователям свободно исследовать и взаимодействовать в сгенерированной среде, что отличает его от одноразовых продуктов для генерации видео из текста.
Современные продукты для генерации AI-видео имеют общие ограничения: после ввода пользователем описания сгенерированный видеоролик нельзя изменить, а также невозможно взаимодействовать с содержимым кадра. С увеличением длительности видео часто возникают проблемы, такие как несогласованность внешности персонажей и внезапные изменения состояния объектов. HappyOyster 1.0, напротив, стремится создать цифровой мир, который можно разыгрывать, исследовать и с которым можно взаимодействовать. После генерации изображения пользователь может отдавать команды в реальном времени, и мир будет реагировать на них и непрерывно развиваться.
Продукт предлагает два основных режима. Режим Adventure — это режим исследования мира, в котором пользователь может управлять персонажем, перемещаясь, прыгая и атакуя в сгенерированном мире. Модель автоматически подбирает доступные способы взаимодействия в зависимости от содержимого сцены. Например, если в сцене появляется повозка, открывается возможность верховой езды, а если появляется автомобиль, становятся доступны такие операции, как включение фар и подача звукового сигнала.
В процессе исследования пользователь может в любой момент сделать скриншот для сохранения изображения, а также сохранить мир и поделиться ссылкой одним нажатием, после чего другие смогут войти в полный мир. Режим Directing — это режим режиссёра в реальном времени, в котором пользователь может вводить команды для управления развитием сюжета. Режим поддерживает мультимодальные референсы и позволяет фиксировать внешность персонажа. Этот режим также включает функции отката и ветвления сюжета: пользователь может вернуться к предыдущему узлу и ввести другую команду, чтобы направить сюжет по другому пути. Официальные лица также предоставили руководство по использованию продукта, помогающее пользователям создавать лучшие миры.
Техническая архитектура HappyOyster 1.0 основана на нескольких ключевых методах. Продукт использует технологию моделирования состояния замкнутого мира, сжимая текущее состояние мира в краткое скрытое состояние и рекурсивно передавая его в цепочке генерации, что обеспечивает согласованность при длительной генерации.
Для решения проблемы дрейфа субъектов продукт использует постоянные референтные представления, участвующие в механизме внимания на всём протяжении процесса, присваивая идентификаторы персонажам и объектам для поддержания стабильности их идентичности. Его открытое каузальное пространство действий объединяет команды действий и естественный язык в едином семантическом интерфейсе, позволяя модели автоматически выводить последующие согласованные последовательности действий на основе команд. В области аудиовизуальной координации аудио и видео декодируются совместно в одном и том же состоянии мира, обеспечивая синхронность изменений звука и изображения в соответствии с физическими законами.
В настоящее время, в связи с отсутствием систематических эталонов оценки в области мировых моделей, команда HappyOyster возглавляет совместную разработку соответствующего эталона оценки с Нанкинским университетом. Продукт уже официально запущен, для использования требуется регистрация по номеру телефона. Официальные лица также планируют в ближайшее время открыть API-интерфейс, который в будущем может быть применён в таких сценариях, как создание игр, генерация коротких видео, развлекательные впечатления, цифровые прямые трансляции и виртуальное сопровождение.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
