Qualcomm представляет Near-Memory Computing HBC, эффективная пропускная способность увеличена в 54 раза

Репортаж от Wedoany，Компания Qualcomm в своем недавнем техническом блоге заявила, что ключом к повышению производительности ИИ в ближайшее десятилетие станет не скорость процессора, а структурные изменения в вычислительной архитектуре. В статье отмечается, что по мере того, как крупные генеративные модели становятся основной рабочей нагрузкой, узким местом производительности систем искусственного интеллекта становится не скорость вычислений, а эффективность передачи данных. Эта тенденция известна как проблема «стены памяти».

В статье утверждается, что современный процесс вывода ИИ сильно зависит от памяти. Для генерации каждого нового токена необходимо считывать из памяти большое количество параметров модели и контекстной информации. Настоящая задача заключается в том, чтобы обеспечить подачу этих данных с достаточной скоростью, а не в самих вычислениях. По оценкам, за последние десять лет размер моделей Transformer удваивался каждые два года, увеличившись в 240 раз, в то время как емкость памяти аппаратного обеспечения ИИ выросла лишь вдвое, в результате чего процессоры значительную часть времени проводят в ожидании данных.

Традиционная архитектура с высокой пропускной способностью памяти (HBM) и XPU расширяет каналы между памятью и процессором для увеличения пропускной способности, но этот подход сталкивается с физическими и экономическими ограничениями. Убывающая отдача от интерфейсов, затраты энергии и времени на передачу данных на расстояние, а также высокая стоимость передовой упаковки делают традиционный путь все более ограниченным. В статье подчеркивается, что энергия, затрачиваемая на передачу операндов через границы чипов, может значительно превышать энергию, необходимую для выполнения арифметических операций после получения данных.

Для решения этой проблемы Qualcomm предложила концепцию «вычислений, близких к памяти» (Near-Memory Computing), реализация которой получила название технологии высокопроизводительных вычислений (HBC). Этот подход размещает вычислительные блоки непосредственно рядом с памятью, позволяя выполнять операции с интенсивным использованием данных в месте их хранения. Основной процессор, такой как ускоритель ИИ Qualcomm Dragonfly, по-прежнему отвечает за сложные и гибкие задачи, в то время как HBC специализируется на операциях, ограниченных перемещением данных. В статье отмечается, что зрелость технологий 3D-интеграции, особенно возможность прямого соединения DRAM с логическими схемами, уже создала коммерческую основу для этого подхода.

Продукты серии Dragonfly, основанные на этой концепции, уже продемонстрировали значительное повышение производительности. Данные показывают, что эффективная пропускная способность памяти Dragonfly AI250, использующего технологию HBC первого поколения от Qualcomm, в 18 раз выше, чем у Dragonfly AI200 с LPDDR5X; а Dragonfly AI300, использующий технологию HBC второго поколения, обеспечивает эффективную пропускную способность памяти в 54 раза выше, чем Dragonfly AI200.

В статье указывается, что вычисления, близкие к памяти, оказывают многогранное влияние на отрасль. Изменятся показатели оценки производительности: покупатели будут больше ориентироваться на производительность при реальных рабочих нагрузках с интенсивным использованием памяти, а также на производительность на ватт и на доллар, а не на пиковую теоретическую пропускную способность. По мере масштабирования развертывания энергия становится основным эксплуатационным расходом и физическим узким местом, поэтому архитектуры, минимизирующие передачу данных, получат структурное преимущество. Кроме того, роль памяти изменится с пассивного носителя данных на активного участника вычислений, что затронет все уровни — от проектирования чипов до экономики центров обработки данных.

Qualcomm считает, что в эпоху искусственного интеллекта дефицитным ресурсом стала не вычислительная мощность, а способность своевременно и экономично доставлять данные туда, где они необходимы. Ключ к проектированию систем заключается в возможности интеллектуального ограничения передачи данных, а не в простом увеличении скорости работы процессора.