Репортаж от Wedoany，Nutanix и AMD объявили о запуске корпоративной ИИ-инфраструктуры, объединяющей процессоры и ускорители AMD, чтобы помочь предприятиям запускать агентные ИИ-нагрузки в частной и гибридной инфраструктуре.
С переходом автономных ИИ-агентов в производственную среду данное решение призвано предоставить предприятиям больший контроль над выбором моделей, управлением данными и стоимостью вычислений. Nutanix отмечает, что организации могут применять двухуровневую стратегию моделей, используя передовые ИИ-системы для сложных задач рассуждения, в то время как высоконагруженные задачи обрабатываются оптимизированными моделями, работающими в частной инфраструктуре.
Автономные агенты могут извлекать информацию, взаимодействовать с корпоративными приложениями и выполнять длительные рабочие процессы, что может генерировать большое количество запросов к моделям. Когда организации в основном полагаются на арендованную инфраструктуру или внешние сервисы моделей, результирующее потребление токенов может увеличить операционные расходы.
Nutanix предлагает использовать прокси-шлюз для маршрутизации запросов между различными моделями и инфраструктурными средами. Шлюз может применять политики организации, управлять контролем доступа и определять, какие нагрузки требуют внешних передовых моделей. Обычные запросы могут направляться к моделям, работающим в собственной инфраструктуре организации, а более сложные задачи — отправляться более крупным внешним моделям. Такая структура призвана снизить долю нагрузок, обрабатываемых через более дорогие модели, и предоставить организации централизованную точку контроля для управления доступом к моделям и политиками их использования.
Дебо Датта, главный директор по ИИ в Nutanix, отметил, что наличие собственного интеллекта не означает полного отказа от передовых моделей, а предполагает контроль над маршрутизацией, емкостью и стоимостью, позволяя использовать дорогие передовые модели только для небольшой части задач, требующих сложных рассуждений на граничных случаях, в то время как большинство высоконагруженных задач направляется на высокооптимизированные модели, безопасно работающие в частной инфраструктуре.
Архитектура объединяет платформу Nutanix Cloud Platform и Nutanix Enterprise AI с процессорами AMD EPYC и ускорителями AMD Instinct MI355X. Nutanix Enterprise AI используется для развертывания и запуска ИИ-моделей и приложений в управляемой инфраструктурной среде, а облачная платформа предоставляет базовый уровень вычислений, хранения и управления для нагрузок, работающих в частных и гибридных средах. Сохранение выбранных ИИ-нагрузок в частной инфраструктуре помогает организациям сохранять контроль над конфиденциальной информацией и поддерживать требования к суверенитету данных. Платформа предназначена для поддержки долгоживущих агентов и может применять политики, определяющие, какие модели могут использовать агенты, к какой информации они имеют доступ и где обрабатываются нагрузки.
Процессоры AMD EPYC и ускорители AMD Instinct MI355X предоставляют вычислительные ресурсы для вывода моделей и корпоративных нагрузок. Nutanix отмечает, что комбинированная инфраструктура поддерживает среду совместного вывода, не требуя отдельных систем для каждого ИИ-приложения или бизнес-подразделения. Общая емкость позволяет организациям распределять вычислительные ресурсы между несколькими нагрузками, повышая эффективность использования инфраструктуры. Данное решение предназначено для предприятий, стремящихся масштабировать развертывание ИИ, но не желающих выделять специализированное оборудование для каждой модели или агента; централизованная инфраструктура может обслуживать несколько приложений, одновременно управляя политиками управления и доступа через платформу.
Корпоративные ИИ-проекты переходят от изолированных экспериментов к системам, непрерывно работающим в бизнес-процессах. Агентные системы предъявляют к инфраструктуре иные требования, чем отдельные чат-боты или эпизодические запросы к моделям: агенты могут оставаться активными в течение длительного времени, обращаясь к нескольким источникам и повторно отправляя запросы до завершения задачи. С ростом масштаба развертывания такие режимы работы могут увеличить вычислительные затраты и затраты на токены, а также усложнить управление моделями. Двухуровневая структура Nutanix разделяет высоконагруженную обработку и задачи, требующие более крупных передовых моделей, позволяя организациям сохранять возможность использования внешних систем, одновременно обрабатывая более предсказуемые нагрузки с помощью моделей, работающих в частном порядке. Платформа также позволяет ИИ-нагрузкам и конфиденциальным данным оставаться в управляемой гибридной мультиоблачной среде, при этом доступ, маршрутизация и контроль политик осуществляются через прокси-шлюз и программный стек Nutanix.
Nutanix заявляет, что инфраструктура совместного вывода предназначена для максимального использования процессоров AMD EPYC и графических процессоров AMD Instinct MI355X, одновременно поддерживая долгоживущие агенты и контролируя затраты, связанные с токенами.
