Репортаж от Wedoany，Американский Neocloud-провайдер Parasail развернул комбинированную конфигурацию из GPU NVIDIA Hopper и Blackwell и ускорителя вывода d-Matrix Corsair для создания гетерогенной AI-инфраструктуры вывода. Данное решение ориентировано на обслуживание вывода больших моделей, позволяя увеличить скорость генерации токенов до 10 раз и повысить экономическую эффективность сервисов вывода.
Ключевая особенность этой инфраструктуры заключается в разделении задачи вывода на два различных этапа обработки. На начальном этапе предварительного заполнения (prefill) при выводе больших моделей требуется обработка входного контекста, промптов, истории диалога и длинных текстов, что характеризуется высокой вычислительной интенсивностью и лучше всего подходит для GPU NVIDIA Hopper и Blackwell. На последующем этапе декодирования (decode) необходимо генерировать токены по одному, что более чувствительно к задержкам, доступу к памяти и устойчивой пропускной способности, поэтому лучше обрабатывается специализированными ASIC для вывода, такими как d-Matrix Corsair. Parasail использует технологию автоматической оптимизации ядер для динамического распределения рабочей нагрузки между различными аппаратными средствами, позволяя GPU и специализированным ASIC выполнять задачи, наиболее подходящие для их архитектуры, вместо того чтобы возлагать всю цепочку вывода на один тип чипа.
d-Matrix Corsair использует архитектуру цифровых вычислений в памяти (Digital In-Memory Compute, D-IMC), размещая вычислительные блоки и ресурсы памяти более тесно в одной и той же структуре чипа. В традиционных системах вывода данные часто перемещаются между процессором и внешней памятью, что приводит к затратам времени, энергии и стоимости. Архитектура D-IMC в Corsair уменьшает такое перемещение данных. Чип изготовлен по техпроцессу TSMC N6, использует органическую подложку и память LPDDR5 и предназначен для масштабируемого развертывания вывода в центрах обработки данных.
Развертывание Parasail является примером производственного гетерогенного декомпозированного вывода. Платформа компании агрегирует высокопроизводительные ресурсы GPU из более чем 40 центров обработки данных в 15 странах, предоставляя разработчикам конечные точки моделей и сервисы вывода. После добавления Corsair к существующей инфраструктуре NVIDIA цепочка вывода может быть разделена на предварительное заполнение на GPU и декодирование на ASIC, что повышает эффективность использования существующих кластеров Hopper и Blackwell.
Гетерогенный вывод — это не просто добавление нового типа чипа, а изменение пути выполнения сервиса вывода. Этап предварительного заполнения фокусируется на крупномасштабных матричных вычислениях и обработке контекста, где параллельные вычислительные возможности GPU подходят для таких задач с высокой пропускной способностью. Этап декодирования постоянно считывает состояние модели, кэш и вновь сгенерированные токены, что более чувствительно к доступу к памяти, задержкам ответа и энергоэффективности. Сближая вычисления и память, Corsair снижает нагрузку на перемещение данных в процессе декодирования, делая этап генерации токенов более подходящим для вывода с низкой задержкой.
Продуктовая линейка d-Matrix также включает ускоритель вывода Corsair, сетевой ускоритель JetStream, программное обеспечение Aviator и стоечное решение SquadRack, нацеленные на обеспечение низкой задержки и высокой энергоэффективности инфраструктуры AI-вывода масштаба ЦОД. После интеграции Corsair в пул ресурсов GPU NVIDIA компанией Parasail формируется не схема замены GPU, а гибридная модель развертывания, где GPU и специализированные ускорители вывода совместно выполняют различные этапы вывода.
Дальнейшие детали производительности будут раскрыты по результатам тестирования и анализа первых развертываний. Текущая архитектура уже определена: GPU Hopper и Blackwell берут на себя вычислительно интенсивное предварительное заполнение, ASIC Corsair — чувствительное к задержкам декодирование, а Parasail с помощью динамической маршрутизации и оптимизации ядер распределяет рабочие нагрузки различных моделей на подходящее оборудование, в конечном итоге предоставляя облачный сервис токенов для разработчиков и корпоративных клиентов.
