Китайская компания Longsys запускает модель с 397 миллиардами параметров на платформе AMD Ryzen AI

Репортаж от Wedoany，Компания AMD недавно вывела на рынок свою платформу Ryzen AI Halo по цене 4000 долларов, что вызвало сравнения с более дорогим продуктом NVIDIA DGX Spark. Компания Longsys, специализирующаяся на хранении данных и памяти, пошла дальше, продемонстрировав локальный запуск на этой платформе AI-модели с 397 миллиардами параметров. Демонстрация проводилась на конфигурации с 16-ядерным процессором Ryzen AI Max+ 395 и 128 ГБ памяти, используя собственную технологию SPU и конфигурацию iSA для сжатия данных в реальном времени. Это позволило устройству с единой памятью объемом всего 128 ГБ (из которых 96 ГБ доступно для GPU) запустить модель, которая обычно требует 200–250 ГБ видеопамяти.

Предположительно, эта модель является кастомизированной версией Qwen 3.5 397B (A17B) от Alibaba, использующей метод смешанных экспертов (MoE). Даже при квантизации INT4 её требования к памяти значительно превышают доступный объем памяти демонстрационного устройства. Компания Longsys заявляет, что её метод использует выгрузку экспертов, интеллектуальное управление кэшем и алгоритмы упреждающей выборки, выгружая неактивных экспертов из DRAM в большой быстрый буфер хранения, откуда AI-чип может перезагрузить их при необходимости. Этот подход направлен на решение таких проблем, как огромное количество параметров в MoE-моделях больших языков, быстрое расширение KV-кэша и задержки ввода-вывода. Компания утверждает, что за счет использования кэш-уровня для снижения потребности в DRAM, в накопителях объемом до 128 ГБ можно разместить вдвое больше данных. Примечательно, что Longsys не предоставила деталей производительности, измеряемой в токенах в секунду; чип Ryzen AI в этом показателе относительно ограничен по сравнению с большинством современных AI-продуктов на GPU. Тем не менее, такой подход, рассматривающий хранилище как память, показывает, что использование быстрого хранилища может обойти ограничения памяти, позволяя запускать топовые модели, обычно требующие дорогостоящего AI-оборудования, на устройствах размером с ладонь.

Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com