Репортаж от Wedoany，Компания NVIDIA объявила, что её NVIDIA Agent Toolkit теперь включает библиотеку NVIDIA Omniverse — набор программных компонентов, предоставляющих AI-агентам инструменты и навыки для добавления возможностей физического AI в существующие приложения и подготовки 3D-контента для симуляций.
Роботы, заводы и автономные системы должны сначала проектироваться, тестироваться и обучаться в симуляционной среде, прежде чем быть запущенными в реальную эксплуатацию. Подготовка 3D-контента для симуляции требует не только реалистичной визуализации — активы должны обладать правильной структурой, материалами, масштабом, метками, сенсорами и физическими свойствами. Благодаря библиотеке NVIDIA Omniverse в составе NVIDIA Agent Toolkit AI-агенты получают инструменты и навыки для создания рабочих процессов, проверки сцен, маркировки проблем и подготовки активов, помогая разработчикам быстрее преобразовывать 3D-контент в среду, готовую к симуляции.
Дженсен Хуанг (Jensen Huang), основатель и CEO NVIDIA, отметил, что эпоха физического AI сначала будет построена в симуляции. NVIDIA Agent Toolkit с библиотекой Omniverse внедряет AI-агентов в 3D-инструменты, уже используемые разработчиками, помогая им создавать миры, готовые к симуляции, чтобы роботы, заводы и автономные системы могли обучаться и тестироваться до выхода в реальный мир.
Производители программного обеспечения, включая SideFX и PTC, интегрируют библиотеку Omniverse для сенсорной симуляции, физики и проверки активов, готовых для агентов, внедряя AI-агентов в приложения и рабочие процессы подготовки 3D-контента, уже используемые разработчиками и техническими художниками.
Библиотека Omniverse привносит навыки физического AI в NVIDIA Agent Toolkit. NVIDIA Agent Toolkit помогает производителям ПО создавать AI-агентов, соединяющих инструменты, источники данных и навыки, а библиотека Omniverse расширяет этих агентов на 3D- и физические AI-рабочие процессы, предоставляя вызываемые инструменты для сенсорной симуляции, физики с ускорением на GPU и проверки активов, готовых к симуляции, в существующих приложениях. Новая библиотека Omniverse включает навыки ovrtx, ovphysx и CAD-to-SimReady, уже доступные на GitHub, наделяя AI-агентов инструментами для создания рабочих процессов по проверке сцен, тестированию изменений и подготовке 3D-активов для симуляции. Новый шаблон для интеграции библиотеки Omniverse в Blender также доступен на GitHub.
Что касается сенсорной симуляции NVIDIA RTX, ovrtx помогает приложениям генерировать выходные данные камер, лидаров, радаров и других сенсоров из 3D-сцен, позволяя разработчикам и AI-агентам тестировать, как системы физического AI воспринимают виртуальную среду. В области физического поведения ovphysx использует физику с ускорением на GPU, привнося реалистичное поведение в 3D-сцены через такие свойства, как столкновения, масса, трение и движение, позволяя командам сначала тестировать взаимодействие объектов и систем в симуляции. Для 3D-объектов, готовых к симуляции, навык CAD-to-SimReady помогает преобразовывать данные систем автоматизированного проектирования (CAD) в активы SimReady на основе OpenUSD, предоставляя 3D-контенту свойства, необходимые для симуляции физического AI и виртуального тестирования.
Производители ПО, включая SideFX и PTC, а также стартапы ForgeCAD, Lightwheel, Moonlake AI и Palatial, стали первыми, кто внедрил и использует библиотеку Omniverse в составе NVIDIA Agent Toolkit. SideFX использует рабочие процессы OpenUSD вместе с библиотеками ovrtx и ovphysx, исследуя, как агенты могут помочь интегрировать библиотеку Omniverse в свои рабочие процессы процедурного создания 3D-контента в Houdini, предоставляя техническим художникам путь для генерации, тестирования физики и подготовки контента для симуляции. Ким Дэвидсон (Kim Davidson), президент и CEO SideFX, отметил, что процедурное 3D-создание имеет решающее значение для построения сложных контролируемых миров, необходимых для симуляции, робототехники и промышленного AI. С помощью библиотеки NVIDIA Omniverse и OpenUSD SideFX исследует, как инструменты, готовые для агентов, могут поддерживать рабочие процессы Houdini, помогая техническим художникам проверять, тестировать и готовить процедурный контент для симуляции, сохраняя контроль над творческим процессом. Платформа PTC Onshape CAD и управления данными о продукте (PDM) использует OpenUSD и ovrtx для соединения облачных нативных дизайнерских рабочих процессов с физической симуляцией, помогая контенту продуктов оставаться связанным с рабочими процессами CAD, PDM, совместной работы и симуляции. Нил Баруа (Neil Barua), президент и CEO PTC, отметил, что инженерные команды ищут более взаимосвязанные способы проектирования, совместной работы и симуляции на протяжении всего процесса разработки. Сотрудничество PTC с NVIDIA поддерживает это более широкое видение, а библиотека NVIDIA Omniverse помогает реализовать рабочие процессы, готовые к симуляции, приближая проверку и тестирование к месту проектирования продукта.
Продемонстрированный на SIGGRAPH пример рабочего процесса «SimReady» в Blender, построенный с использованием библиотеки NVIDIA Omniverse и NVIDIA NemoClaw, показывает, как производители ПО могут добавлять готовые к агентам возможности симуляции в существующие 3D-приложения. Теперь он доступен как шаблон для интеграции библиотеки Omniverse в Blender. Демонстрация также показала, как эти рабочие процессы могут выполняться локально — от компактных систем RTX на базе NVIDIA RTX Spark до систем с NVIDIA GB300 и NVIDIA DGX Station. Системы RTX Spark поступят в продажу этой осенью от ASUS, Dell Technologies, HP, Lenovo, Microsoft Surface и MSI, а модели от Acer и GIGABYTE — позже. Системы DGX Station можно заказать у ASUS, Dell, GIGABYTE, HP, MSI, Supermicro и Exxact.
Стартапы, в том числе участники программы NVIDIA Inception, также используют библиотеку Omniverse и навыки для добавления рабочих процессов по подготовке активов и сцен с помощью агентов. Palatial использует навык CAD-to-SimReady от Omniverse для автоматического массового создания и проверки активов SimReady на основе CAD-входных данных. Lightwheel использует AI-агентов контента Omniverse на базе OpenUSD в своей технологии SimReadyGen для генерации физически точных активов SimReady из текстовых подсказок. ForgeCAD и Moonlake AI исследуют рабочие процессы 3D-контента, управляемые агентами, используя возможности Omniverse для генерации, улучшения и подготовки активов для симуляции физического AI.
