Американская компания Nutanix запускает плоскость управления шлюзом агентов для оптимизации затрат на токены ИИ

Репортаж от Wedoany，Компания Nutanix представила плоскость управления ИИ Agent Gateway (шлюз агентов), предназначенную для предоставления предприятиям централизованного управления использованием моделей и оптимизации затрат на токены. Этот инструмент призван решить проблему «неупорядоченных» затрат на токены, возникающих, когда сотрудники могут использовать передовые модели для таких простых задач, как реферирование документов, и предоставляет предприятиям единое представление о том, кто что использует и как контролировать использование токенов.

Этот шлюз развертывается между пользователями, приложениями и растущим числом моделей с открытым весом и передовых моделей, позволяя предприятиям разрабатывать политики относительно того, кто и какие модели может использовать для различных рабочих нагрузок и затрат. Генеральный директор Nutanix Раджив Рамасвами позиционирует свою плоскость управления как инструмент для определения рентабельности инвестиций в развертывание ИИ, чтобы четко определить, какие команды могут использовать какие инструменты и модели, для каких случаев использования и сколько токенов им разрешено тратить.

Рамасвами заявил на пресс-конференции, что в настоящее время любой может получить доступ к любому контенту, а с помощью Agent Gateway предприятия могут устанавливать правила, позволяя инженерным группам использовать «простые модели» для одних случаев использования, оставляя самые передовые системы для наиболее сложных мультиагентных приложений. Он отметил, что концепция этого шлюза ИИ нашла отклик среди высшего руководства еще до запуска: на встречах с CIO и COO во время поездки в Лондон эта идея получила широкое внимание и уже стала предметом заботы высшего руководства, включая CIO, COO и даже CFO. Nutanix стремится, чтобы партнеры догнали этот тренд и донесли эту информацию до клиентов.

Agent Gateway является частью стека ИИ Nutanix (Enterprise AI 2.7), который подключает пользователей ИИ и агентов к моделям, а также к инструментам и серверам, совместимым с протоколом контекста модели (MCP), и обеспечивает соблюдение предустановленных политик и правил оператора инфраструктуры. Рамасвами пообещал, что платформа будет развиваться со временем, и представляет ее как «ИИ внутри ИИ», который в будущем сможет становиться умнее и понимать сами приложения, самостоятельно выбирая подходящие модели и оптимизируя затраты.

В настоящее время шлюз ориентирован на стек вывода на базе GPU от Nutanix, который работает на Kubernetes и предоставляет общие конечные точки вывода для гибридных моделей с открытым весом и передовых моделей. Этот стек в настоящее время основан на Nvidia, но Nutanix планирует «к концу этого года» поддержать AMD, что последовало за инвестициями AMD в размере 150 миллионов долларов в Nutanix в феврале. Рамасвами заявил, что Nutanix в конечном итоге стремится быть аппаратно-независимой, расширяя поддержку различных аппаратных платформ, предоставляя стек вывода и шлюз, чтобы помочь предприятиям развертывать и использовать ИИ экономически эффективным способом, возможно, в будущем работая на Google TPU или GPU AMD, предлагая ряд вариантов стоимости.