Американская компания Modal планирует использовать процессоры Nvidia Vera

Репортаж от Wedoany，19 октября американская компания облачных вычислений для искусственного интеллекта Modal объявила о планах использовать центральные процессоры Nvidia Vera для обеспечения вычислительной поддержки своего облачного сервиса изолированных вычислений Modal Sandboxes. Компания уже получила первый сервер Vera и завершила предварительное тестирование производительности: в тестах с высококонкурентными задачами искусственного интеллекта пропускная способность процессора Vera достигала двукратного уровня аналогичной системы на базе Intel Granite Rapids. Modal планирует внедрить его в существующую вычислительную инфраструктуру для поддержки работы ИИ-агентов и задач обучения с подкреплением.

Ранее Modal в основном использовала процессоры x86 от Intel и AMD для предоставления облачных вычислительных ресурсов разработчикам искусственного интеллекта. Её сервис Sandboxes способен одновременно запускать сотни контейнеров и виртуальных машин на одном сервере, выполняя компиляцию кода, поиск файлов, тестирование программ и автоматизированные задачи. Компания продолжит использовать процессоры Intel и AMD и будет выбирать аппаратную платформу в зависимости от различных вычислительных нагрузок.

Инженерная команда Modal разработала инструмент тестирования Agentless Agent Bench, использующий 50 задач из Terminal-Bench для тестирования процессоров Vera, Intel Granite Rapids, AMD Zen 5 и Amazon Graviton. Тестирование охватывает такие рабочие нагрузки, как компиляция кода, операции Git, поиск файлов и эмуляция устройств. Результаты показали, что Vera обеспечивает более низкую задержку в некоторых одноtaskовых тестах, а при увеличении количества параллельных контейнеров преимущество в пропускной способности ещё больше возрастает.

Процессор Nvidia Vera использует собственную архитектуру ядер Olympus, оснащён 88 ядрами CPU, поддерживает 176 потоков, пропускная способность памяти LPDDR5X достигает 1,2 ТБ/с. Этот процессор может использоваться как в автономных CPU-серверах, так и совместно с GPU Nvidia на вычислительной платформе Vera Rubin. Существующая инфраструктура Modal в основном работает на архитектуре x86; для подключения Arm-совместимой архитектуры, используемой Vera, потребуется адаптация серверной среды, сборки образов контейнеров и соответствующих программных систем.

Недавно Modal завершила финансирование на сумму 750 млн долларов, оценка компании достигла 15,75 млрд долларов. Компания сотрудничает с Nvidia и облачными провайдерами в продвижении развёртывания процессоров Vera и планирует использовать их для задач ИИ-агентов и обучения с подкреплением. В настоящее время Vera прошла внутреннее тестирование в Modal, но ещё не полностью введена в её производственный вычислительный кластер.