Репортаж от Wedoany，SK hynix совместно с исследователями из TetraMem и Университета Южной Калифорнии (University of Southern California) разработали систему на кристалле (SoC) на основе мемристоров для вычислений в памяти (IMC), предназначенную для AI-периферийных устройств. Этот чип предназначен для ускорения нейросетевых выводов в легковесных AI-моделях, потребляя лишь долю энергии высокопроизводительных GPU или NPU. Данный SoC в основном является концептуальным чипом, его теоретическая пиковая производительность составляет около 2,54 TOPS, что в 16 раз ниже требований Microsoft Copilot+.
Вычисления в памяти (IMC) ускоряют нейронные сети за счет выполнения аналоговых вычислений непосредственно внутри массива памяти, что снижает перемещение данных и энергопотребление. Однако глубокая свертка (DWC) является ключевой операцией в легковесных сетях, таких как MobileNet, и выполняет независимую поканальную фильтрацию с ограниченным повторным использованием данных, что затрудняет эффективное отображение на традиционные перекрестные массивы. Для решения этой проблемы исследователи разработали SoC, сочетающий традиционные IMC-перекрестные массивы и архитектуру IMC на основе мемристоров, специально оптимизированную для DWC.
Совместно разработанный SoC основан на встроенном RISC-V-процессоре для планирования рабочих нагрузок и содержит 10 нейропроцессорных блоков (NPU). Один NPU специально предназначен для глубокой свертки, а остальные девять выполняют поточечные и плотные операции. Каждый из девяти NPU содержит перекрестный массив мемристоров размером 256×256 для выполнения аналогового векторно-матричного умножения (VMM); 256 8-битных ЦАП для преобразования цифровых значений активации в аналоговое напряжение; 256 8-битных АЦП для обратного преобразования аналоговых выходов в цифровые значения; а также дополнительные периферийные схемы для чтения, записи, программирования и управления перекрестным массивом. NPU, оптимизированный для DWC, заменяет традиционный массив восемью специализированными блоками зигзагообразных перекрестных массивов размером 252×28, но сохраняет ЦАП и АЦП. SK hynix разработала и изготовила мемристорные устройства, интегрировав резистивные ячейки поверх 65-нм КМОП-схем с использованием своего технологического процесса заднего уровня.
Этот NPU, оптимизированный для DWC, является ключевой особенностью всего SoC. Для ускорения глубокой свертки TetraMem заменила прямые линии выбора, используемые в традиционных перекрестных массивах 1T1R, на зигзагообразную топологию. Этот NPU содержит восемь блоков перекрестных массивов размером 252×28, диагональные линии выбора которых активируют 252 ячейки памяти, охватывающие 28 столбцов, что позволяет параллельно выполнять 28 независимых сверток 3×3, при этом 100% массива используется для хранения весов. Остальные девять NPU сохраняют традиционные перекрестные массивы 1T1R для поточечных слоев 1×1 и плотных слоев, поддерживая пропускную способность и энергоэффективность традиционных вычислений в памяти.
Для демонстрации этой архитектуры исследователи развернули кастомизированную нейронную сеть MobileNetV1Small для эталонного теста Visual Wake Words. Эта сеть содержит около 36 000 параметров; все слои глубокой свертки отображаются на выделенный NPU, а поточечные слои — на остальные NPU. Поскольку аппаратное обеспечение IMC на основе мемристоров изначально выполняет беззнаковое аналоговое векторно-матричное умножение, входные данные и веса перед выполнением квантуются до беззнаковых 8-битных значений. Эффективная точность каждого мемристорного устройства может быть запрограммирована лишь чуть выше 2 бит, поэтому в конструкции используется метод компенсации с двумя подмассивами, повышающий эффективную точность весов примерно до 4 бит.
С точки зрения точности, данный SoC достигает сквозной точности вывода 80,36%, что соответствует соответствующей 4-битной программной модели. По производительности пиковая пропускная способность каждого NPU составляет 0,254 TOPS, а энергоэффективность достигает 21,3 TOPS/Вт при 100 МГц и 11,9 TOPS/Вт при 400 МГц. По словам авторов, несмотря на изготовление по устаревшему 65-нм техпроцессу, эта производительность превосходит опубликованные ускорители вычислений в памяти на основе SRAM. В совместной статье утверждается, что энергоэффективность данного SoC на порядок выше, чем у NVIDIA A100 INT8, однако эти утверждения в значительной степени не подтверждены.
Исследователи из SK hynix, TetraMem и Университета Южной Калифорнии разработали IMC SoC на основе мемристоров, отличающийся новым ускорителем глубокой свертки, повышающим использование перекрестного массива для легковесных AI-нагрузок. Партнеры успешно изготовили чип по устаревшей 65-нм технологии и заставили его работать, достигнув энергоэффективности 21,3 TOPS/Вт и точности вывода, сопоставимой с 4-битной программной моделью. Хотя эта архитектура подтверждает осуществимость подхода, в статье не раскрывается полная производительность SoC, и неясно, могут ли все 10 NPU чипа работать в насыщенном режиме.
