Репортаж от Wedoany，Компания Artificial Analysis представила первый в отрасли эталонный тест для автономного ИИ — AgentPerf, предоставив разработчикам, предприятиям и поставщикам инфраструктуры стандартный метод сравнения автономных систем ИИ. Результаты первого раунда тестирования показали, что платформа NVIDIA Blackwell Ultra NVL72 демонстрирует лидирующую производительность в рабочих нагрузках автономного ИИ, поддерживая в 20 раз больше агентов на мегаватт по сравнению с системами NVIDIA Hopper.
Рабочие нагрузки автономного ИИ принципиально отличаются от диалогового ИИ. Один чат-сеанс подобен спринту: требуется лишь один вызов большой языковой модели (LLM) и один ответ. Агент же больше напоминает эстафету: он разбивает цель на множество шагов и продолжает работу до завершения задачи.
Такой режим приводит к десяткам или сотням последовательных вызовов LLM, где каждый вызов передаёт растущий контекст следующему, а при каждой передаче выполняются вызовы инструментов: компиляция и выполнение кода, поиск в базах данных, просмотр веб-страниц. Сложность здесь не суммируется, а умножается.
Это различие критически важно для оценки производительности. Существующие эталонные тесты вывода ИИ измеряют одиночные вызовы LLM — скорость ответа модели на отдельный запрос и количество запросов, которые система может обрабатывать одновременно. Они не предназначены для автономных рабочих нагрузок, поскольку цепочки вызовов LLM, задержки вызова инструментов и растущий контекст создают на ускорительные вычислительные системы нагрузку, принципиально отличную от одиночного вызова LLM.
Для компаний, которые массово создают и развёртывают агентов, критически важно понимать скорость ответа агентов, количество одновременно развёртываемых агентов, а также объём полезной работы, выполняемой на каждый доллар и каждый ватт электроэнергии, вложенные в инфраструктуру ИИ.
В первом раунде тестирования AgentPerf использовал DeepSeek V4 Pro — большую гибридную экспертную модель, представляющую современный класс передовых моделей, управляющих наиболее мощными агентами, — для измерения автономной производительности. В этой рабочей нагрузке NVIDIA GB300 NVL72 показала наивысшую производительность в тесте, поддерживая в 20 раз больше агентов на мегаватт, чем система NVIDIA HGX H200.
Это преимущество в производительности обусловлено экстремальным синергетическим дизайном полного стека. GB300 NVL72 объединяет 72 графических процессора в единую стоечную систему, что позволяет эффективно распределять выполнение больших MoE-моделей, таких как DeepSeek V4 Pro, в масштабе. Ядра CUDA дополнительно ускоряют работу за счёт перекрытия коммуникаций и вычислений, поэтому затраты на координацию между экспертами поглощаются, а не увеличивают задержку. По мере роста масштаба параллельных сессий агентов NVIDIA TensorRT LLM сохраняет эффективность, разделяя обработку входных данных и генерацию выходных, что позволяет независимо оптимизировать каждый этап. Эти результаты основаны на методологии тестирования, созданной с нуля для отражения реальной работы автономного ИИ в производственной среде.
AgentPerf построен на основе трасс реальных агентов по написанию кода. Агент получает задачу, читает файлы, пишет и редактирует код, выполняет команды и итеративно обрабатывает результаты — все данные взяты из реальных публичных репозиториев кода на более чем 12 языках программирования. Длинные последовательности, шаблоны вызовов инструментов и задержки отражают реальные рабочие процессы кодирования. AgentPerf измеряет, сколько таких автономных задач платформа может поддерживать одновременно, соблюдая установленные пороги производительности, такие как время отклика и скорость вывода токенов. Вызовы инструментов не выполняются фактически, а моделируются с использованием репрезентативного времени обработки ЦП, поэтому различия в результатах отражают только влияние производительности ускорительных вычислений. Результаты напрямую конвертируются в решения по инфраструктуре: количество параллельных автономных задач на один ускоритель и на мегаватт электроэнергии.
Ведущие провайдеры вывода, включая Baseten, DeepInfra и Together AI, уже обслуживают автономные рабочие нагрузки на передовых моделях, таких как DeepSeek V4 Pro, на платформе NVIDIA Blackwell. Together AI обеспечивает вывод в реальном времени для Cursor — автономной платформы кодирования на базе ИИ — на NVIDIA Blackwell. Агенты Cursor отлаживают проблемы, генерируют функции и выполняют рефакторинг, пока разработчик продолжает работу. DeepInfra поддерживает Pam.ai — платформу ИИ-работников для автомобильных дилеров, которая полностью развёртывает агентов на NVIDIA Blackwell для бронирования сервисных встреч, обработки звонков и проведения исходящих продаж. По мере того как NVIDIA и экосистема с открытым исходным кодом продолжают оптимизировать программное обеспечение для вывода, производительность и эффективность автономных рабочих нагрузок будут расти. Архитектура NVIDIA Vera Rubin уже запущена в полномасштабное производство, что обеспечит следующее поколение инфраструктурных мощностей для удовлетворения растущего спроса на масштабируемый автономный ИИ. Подробнее о методологии AgentPerf и оптимизации полного стека можно узнать в соответствующем техническом блоге.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
