Репортаж от Wedoany，Конкуренция в производительности больших языковых моделей (LLM) всё теснее переплетается со «стратегией инфраструктуры» компаний в сфере ИИ. AMD в своём блоге отмечает, что простое увеличение масштаба кластеров GPU сталкивается с множеством ограничений, таких как энергоснабжение, затраты и узкие места сети, поэтому «аппаратно-программное кодизайн», учитывающий аппаратные ограничения с ранних этапов разработки ПО, становится ключевой стратегией для ИИ-компаний.
«Grok 4.0» от xAI и «DeepSeek-V2» от DeepSeek демонстрируют два принципиально разных подхода к инфраструктуре. xAI выбрал стратегию масштабной инфраструктуры, развернув кластер H100 «Colossus» из 200 000 единиц, однако при таком масштабе узким местом становится сетевая передача данных между GPU, что снижает общую вычислительную эффективность. Для решения этой проблемы при разработке Grok 4.0 xAI объединил 9 сетевых интерфейсных карт (NIC) по 400 Гбит/с на каждом сервере, обеспечив пропускную способность 3,6 Тбит/с. Одновременно для снижения затрат xAI использовал RoCE на базе универсального Ethernet, а не InfiniBand от NVIDIA. Для решения проблемы «энтропийного коллапса», вызванного статическими вычислительными графами, xAI внедрил технологию «адаптивной маршрутизации», изменяющей путь передачи данных по пакетам в реальном времени.
Напротив, DeepSeek выбрал путь максимальной эффективности оборудования в относительно небольших кластерах H800 — от 2000 до 50 000 единиц. Не имея возможности бездумно наращивать аппаратное обеспечение, DeepSeek подошёл к вопросу на архитектурном уровне, сократив объём сетевого трафика в корне. DeepSeek-V2, используя структуру смеси экспертов (MoE), разработал технологию «маршрутизации экспертов с ограничением по устройствам», которая позволяет одновременно обрабатывать экспертную маршрутизацию — узкое место моделей MoE — и вычисления на GPU. Благодаря этой программной оптимизации время простоя GPU из-за сетевых блокировок сведено к минимуму, и DeepSeek достиг конкурентоспособной производительности при затратах на аппаратную инфраструктуру, составляющих лишь десятую часть от затрат на Grok 4.0.
Противоположные стратегии двух моделей показывают, что подход с бездумным расширением инфраструктуры имеет явные ограничения по затратам и эффективности. Точное понимание ограничений аппаратной инфраструктуры и способность к «кодизайну» — тонкой настройке модели с учётом этих ограничений — станут ключевым фактором конкуренции на будущем рынке ИИ.
