Репортаж от Wedoany，Две исследовательские группы из Южной Кореи и Японии на симпозиуме IEEE по сверхбольшим интегральным схемам (VLSI) представили схемы бокового штабелирования микросхем DRAM, пытаясь преодолеть проблемы перегрева и ограничения пропускной способности, с которыми сталкивается высокопроизводительная память (HBM).
В настоящее время HBM, используемая в GPU центров обработки данных, состоит из нескольких слоев микросхем DRAM, вертикально уложенных на подложку, которые передают данные и электроэнергию через сквозные кремниевые переходы (TSV). Теплопроводность материала, заполняющего зазоры между микросхемами, значительно ниже, чем у кремниевой подложки, что препятствует передаче тепла к радиатору корпуса. С увеличением количества слоев проблема нагрева усугубляется, а площадь, занимаемая TSV, все больше сокращает пространство для ячеек памяти, что обостряет противоречие между емкостью памяти и пропускной способностью.
В ответ на эти ограничения южнокорейская исследовательская группа пошла другим путем. Лаборатория Квон Джи-мина из Ульсанского национального института науки и технологий (UNIST) и команда Ким Сон-джу из Национального университета Ханбат предложили схему под названием V-Die. Эта схема предполагает вертикальное боковое штабелирование микросхем DRAM с размещением между ними микроканалов для жидкостного охлаждения. Моделирование показало, что при использовании технологии прямого жидкостного охлаждения (DLC) максимальная температура стека V-Die снижается примерно до 45°C, что значительно ниже пика HBM4, обычно превышающего 80°C. Благодаря отказу от TSV и базовой микросхемы, вся боковая стенка каждой микросхемы, обращенная к интерпозеру, может использоваться для разводки ввода-вывода, что позволяет увеличить количество точек соединения в четыре раза по сравнению с HBM4. Моделирование на основе спецификации JEDEC HBM4 показало, что пиковая пропускная способность архитектуры V-die в 4,01 раза выше, чем у HBM4, а задержка чтения снижается на 37,2%. В тестах с реальной рабочей нагрузкой ИИ, моделирующих работу большой языковой модели масштаба GPT-3 (175B параметров) на 8 вычислительных узлах GPU, система V-Die обрабатывала 540 токенов в секунду, в то время как система HBM4 той же емкости — 296 токенов, что означает увеличение пропускной способности декодирования в 1,82 раза; задержка обработки первого токена снизилась примерно на 32% (24 миллисекунды). Исследовательская группа прогнозирует, что по сравнению с HBM4 общая скорость V-Die возрастет на 82%. В настоящее время команда разрабатывает прототип устройства для проверки тепловых и электрических характеристик.
Японская команда, в свою очередь, сосредоточилась на решении проблем интеграции при боковом штабелировании. Исследователи из Токийского университета, Университета Тохоку и RIKEN (Рикэн) продемонстрировали схему MOSAIC. Они отказались от традиционных электрических соединений, изготовив на одной стороне микросхемы памяти прямоугольные катушки индуктивности размером примерно 80 на 240 микрометров, а на подложке разместив соответствующие катушки вертикально, используя магнитную индукцию для передачи сигналов данных. Поскольку катушкам не требуется полное перекрытие, этот метод снижает требования к однородности толщины микросхем. Соединения для подачи питания были размещены на боковой стороне куба памяти. MOSAIC спроектирован для установки поверх GPU, каждый куб интегрирует 98 микросхем, обеспечивая емкость памяти 294 ГБ, что вдвое превышает емкость HBM4 при том же объеме. Хотя конструкция не использует жидкостное охлаждение, тепло может отводиться вверх через кремниевые ребра, а пиковая температура контролируется в пределах 81,3°C. Команда отмечает, что при уменьшении толщины микросхем DRAM с обычного значения до 100 микрометров в том же объеме можно интегрировать 294 микросхемы, достигнув емкости 882 ГБ.
Джеймс Майерс, руководитель проектов в Межуниверситетском микроэлектронном центре (Imec), отметил, что схемы бокового штабелирования сталкиваются с практическими проблемами интеграции. Даже разница в толщине микросхем DRAM в несколько микрометров после накопления нескольких слоев может привести к несовмещению с контактными площадками подложки. Вышеупомянутые схемы были представлены в прошлом месяце на симпозиуме IEEE по сверхбольшим интегральным схемам.
