Nvidia представляет новый мир моделей Cosmos, робототехники и инфраструктуру для физического использования

В понедельник Nvidia представила совершенно новый набор моделей искусственного интеллекта, библиотек и другой инфраструктуры для разработчиков роботов, наиболее ярким из которых является Cosmos Reason, 7-миллиардная параметрическая визуально-языковая модель « рассуждений » для физических приложений искусственного интеллекта и роботов.

К существующим моделям мира Cosmos присоединяются Cosmos Transfer-2, который ускоряет генерацию синтетических данных из 3D-моделируемых сцен или пространственных управляющих входных данных, и упорядоченная версия Cosmos Transfers, дополнительно оптимизированная для скорости.

Объявив об этом на конференции SIGGRAPH в понедельник, Nvidia отметила, что модели предназначены для создания синтетических наборов текстовых, изображений и видео данных для обучения роботов и агентов искусственного интеллекта.

По словам Nvidia, Cosmos Reason позволяет роботам и агентам искусственного интеллекта « рассуждать » с помощью своей памяти и физического понимания, что позволяет ему « служить моделью планирования для рассуждения о следующих шагах, которые конкретный агент может предпринять ». Компания заявляет, что его можно использовать для управления данными, планирования роботов и видеоанализа.

Компания также выпустила новую библиотеку нейронных реконструкций, которая включает в себя технологию рендеринга, которая позволяет разработчикам моделировать реальный мир в 3D, используя данные датчиков. Функция рендеринга также интегрирована в популярную платформу разработчиков эмулятор с открытым исходным кодом CARLA. Также был обновлен комплект разработки программного обеспечения Omniverse.

Кроме того, есть новые серверы для роботизированных рабочих процессов. Сервер Nvidia RTX Pro Blackwell обеспечивает единую архитектуру для рабочих нагрузок разработки роботов, в то время как Nvidia DGX Cloud является облачной платформой управления.

Эти заявления были сделаны в связи с тем, что полупроводниковый гигант Nvidia дальше продвигается в области робототехники, стремясь к следующему значительному использованию своих графических процессоров ИИ за пределами центров обработки данных ИИ.