Репортаж от Wedoany，Компания Sandisk представила технологию высокоскоростной флэш-памяти (High Bandwidth Flash, HBF), направленную на устранение узких мест в памяти при выполнении задач ИИ-вывода.
ИИ-вычисления стимулируют изменения в архитектуре памяти центров обработки данных. В настоящее время около одной седьмой части центров обработки данных уже способны поддерживать ИИ-нагрузки, и ожидается, что к 2030 году эта доля приблизится к 70%. ИИ переходит от гипермасштабируемых центров обработки данных к корпоративным ЦОД и периферийным сетям, при этом ожидается, что к концу десятилетия периферийные ИИ-приложения принесут доход почти в 66,5 миллиарда долларов. Эти огромные хранилища контента создают нагрузку на традиционные архитектуры хранения данных и выявляют их внутренние слабые места.
Широко используемые в центрах обработки данных DRAM и специализированная высокоскоростная память (HBM) всё сложнее справляются с требованиями крупных ИИ-моделей с точки зрения плотности, ёмкости и масштабируемости. Производители гипермасштабируемых вычислений сталкиваются с постоянным ростом затрат на производство, сложности проектирования и энергопотребления DRAM и HBM. В корпоративных центрах обработки данных и периферийных ИИ-приложениях эта проблема стоит ещё острее, поскольку физическое пространство в этих сценариях ограничено, что затрудняет перенос более высоких затрат на память и энергопотребление. ИИ-вывод, как доминирующая в настоящее время рабочая нагрузка, предъявляет совершенно иные требования к управлению данными по сравнению с обучением ИИ, требуя хранения больших и постоянно растущих ИИ-моделей. Решения на основе HBM и DRAM уже демонстрируют недостаточную масштабируемость по ёмкости и стоимости.
Расширение ёмкости DRAM практически остановилось, в то время как потребность в большей ёмкости для ИИ-вывода растёт. Преимущества DRAM в низкой задержке и произвольном доступе не соответствуют требованиям ИИ-вывода, поскольку шаблоны доступа при выводе являются детерминированными и более терпимы к задержкам благодаря таким технологиям, как предварительная выборка данных. Эти недостатки существуют на фоне индустрии DRAM стоимостью 120 миллиардов долларов, которая сталкивается с огромными расходами на ИИ-инфраструктуру со стороны гипермасштабируемых провайдеров (которые к концу десятилетия могут достичь 6,7 триллиона долларов).
Предложенное Sandisk решение HBF представляет собой новую архитектуру памяти, специально разработанную для поддержки следующего поколения ИИ-вычислений. HBF призвана удовлетворить требования к ёмкости, энергоэффективности, пропускной способности и масштабируемости для передовых вычислений и приложений с интенсивным использованием данных. По сравнению с HBM, HBF обеспечивает более высокую ёмкость и плотность памяти, пропускную способность, сопоставимую с HBM, и лучше соответствует тенденциям ИИ-вывода. Как энергонезависимый носитель, HBF сохраняет данные при отключении питания и обладает термической стабильностью для поддержки более высоких рабочих температур. Технология использует BiCS-дизайн и производственные технологии Sandisk, а также архитектуру чипов, переопределяя NAND-флэш-память за счёт оптимизации характеристик высокой пропускной способности и памяти для вывода, при этом технология BiCS CMOS-связанных массивов на пластине (CBA) используется для повышения энергоэффективности и пропускной способности.
По сравнению с традиционной NAND-флэш-памятью, HBF достигает более низкой задержки и значительно более высокой скорости чтения за счёт использования параллелизма, передового масштабирования логики и индивидуальных технологий укладки. Это позволяет большим языковым моделям передавать данные со скоростью, близкой к DRAM. Кроме того, HBF поддерживает большие KV-кэши для эффективной обработки длинных и сложных пользовательских запросов, а также данных клиентов и предметных областей, тем самым повышая точность ИИ-вывода.
Поскольку HBM из-за ограничений по плотности, стоимости и энергопотреблению обычно не используется в периферийных и мобильных средах, HBF может обеспечить периферийные устройства (например, смартфоны) большей ёмкостью памяти для обработки более сложных задач ИИ-вывода. Благодаря энергонезависимой памяти HBF поддерживает бесшовное извлечение старого контекста из предыдущих запросов для решения новых задач. В сфере корпоративных вычислений, для сред с гораздо меньшим числом пользователей, чем в гипермасштабируемых центрах обработки данных, стоимость крупных GPU-кластеров на основе HBM слишком высока. Однако, используя ускорители с поддержкой HBF, малые предприятия могут выполнять тонкую настройку больших предварительно обученных моделей для конкретных предметных областей.
По сравнению с HBM, HBF имеет явное преимущество в ёмкости, одновременно обеспечивая высокую пропускную способность, необходимую для приложений ИИ-вывода. Как масштабируемая новая технология системной памяти, HBF способствует уменьшению узких мест производительности и ускорению получения инсайтов от ИИ-приложений в современных центрах обработки данных и периферийных сетях.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
