Репортаж от Wedoany，Компания NVIDIA выпустила NVIDIA Cosmos 3 — открытую фундаментальную модель для физического ИИ, построенную на гибридной архитектуре Transformer, которая объединяет визуальное рассуждение, генерацию миров и прогнозирование действий в единую систему.
Cosmos 3 — первая в мире полностью открытая универсальная модель, способная нативно понимать и генерировать текст, изображения, видео, звуки окружающей среды и действия. Она обладает ведущей физической точностью, сокращая цикл обучения и оценки физического ИИ с месяцев до дней.
Модель решает фундаментальную задачу физического ИИ: обеспечить обобщение в реальном мире для роботов, автономных автомобилей или визуальных агентов при ограниченных обучающих данных и фрагментированных симуляционных стеках. Её гибридная архитектура Transformer объединяет Transformer для рассуждения с Transformer-экспертом для генерации, что позволяет Cosmos 3 понимать взаимодействие объектов, движение и пространственно-временные отношения до генерации видео и траекторий действий. Модель обучается на многомодальном наборе данных физического ИИ, содержащем миллиарды образцов текста, изображений, видео, звуков и траекторий действий, предоставляя разработчикам мощную предобученную основу для создания систем физического ИИ с меньшим объёмом данных и более низкими затратами на обучение.
В тестах физического ИИ Cosmos 3 демонстрирует ведущие результаты. Среди открытых моделей она занимает первое место по точности генерации миров в бенчмарках Artificial Analysis, Physics-IQ, PAI-Bench и R-Bench; первое место по стратегиям действий в RoboLab и RoboArena; первое место по визуальному пониманию в рейтингах VANTAGE-Bench и TAR.
Серия Cosmos 3 включает несколько версий: Cosmos 3 Super — для пост-обучения роботов и автономных автомобилей, требующих максимальной физической точности и качества генерации; Cosmos 3 Nano — для высококачественного рассуждения о видео и действиях за доли секунды; Cosmos 3 Edge (скоро) — для периферийных вычислений в реальном времени.
NVIDIA также запустила NVIDIA Cosmos Coalition — глобальное сотрудничество создателей мировых моделей и разработчиков ИИ, в число основателей которого вошли Agile Robots, Black Forest Labs, Generalist, LTX, Runway и Skild AI. Коалиция направлена на продвижение открытых мировых моделей в различных отраслях, позволяя участникам вносить вклад в модели, исследования и методы оценки, а также использовать технологии Cosmos 3, инструменты обучения и инфраструктуру NVIDIA DGX Cloud для масштабного обучения.
Платформа Cosmos поддерживает стек физического ИИ NVIDIA, включая новые наборы данных по робототехнике, физике, движениям человека, автономным автомобилям, безопасности складов и пространственному рассуждению, а также навыки агентов физического ИИ для нейронной реконструкции сцен, генерации изображений с дефектами и улучшения видео. Разработчики физического ИИ уже строят на этой платформе, включая Agile Robots, Doosan Robotics, LG Electronics, Samsung Electronics, Skild AI в робототехнике, Li Auto в автономных автомобилях, а также Centific, Fogsphere, Linker Vision, Milestone Systems и Yuan в области визуальных ИИ-агентов.
Cosmos 3 Super и Cosmos 3 Nano уже доступны, Cosmos 3 Edge выйдет в ближайшее время. Разработчики могут опробовать Cosmos 3 на build.nvidia.com, загрузить открытую модель с Hugging Face, настроить её и генерировать синтетические данные с помощью Hugging Face Diffusers и ресурсов GitHub, а также развернуть модель как микросервис NVIDIA NIM. Создатели моделей и поставщики программного обеспечения могут ускорить доступ, настройку и развёртывание Cosmos для критически важных рабочих нагрузок вывода и генерации синтетических данных с помощью навыков агентов физического ИИ на GitHub и партнёров по облачной инфраструктуре (включая Baseten, CoreWeave, Microsoft Azure, Nebius, Deep Infra, Classmethod).
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
