Репортаж от Wedoany，Основатель и генеральный директор NVIDIA Дженсен Хуан на конференции GTC в Тайбэе в июне 2026 года отметил, что наиболее сложной задачей в AI-инфраструктуре является система памяти, включающая управление KV-кэшем рабочей памяти AI-агентов, а также поиск структурированных и неструктурированных данных и создание онтологии данных. Хуан заявил, что система памяти для AI коренным образом изменит системы хранения.
Для удовлетворения растущих потребностей в хранении KV-кэша в эпоху AI-инференса компания NVIDIA представила платформу контекстной памяти CMX (CMX Context Memory Storage Platform), управляемую BlueField-4 DPU. Эта платформа добавляет контекстный уровень на уровне Pod между локальными SSD и общим хранилищем.
Развитие агентного AI меняет архитектуру CPU. Хуан отметил, что агенты существуют в мире наносекунд, и каждая задержка мешает им перейти к следующему шагу, поэтому сверхнизкая задержка становится первостепенным требованием. Поскольку NVIDIA и Arm представили решения на базе CPU, специально разработанные для агентов, отрасль переходит от архитектур, ориентированных на пропускную способность, к архитектурам, ориентированным на задержку, что открывает дополнительный рынок для CPU-памяти.
Согласно публичным данным NVIDIA, с второй половины 2024 года среднее количество выходных токенов на один запрос резко возросло более чем в 5 раз в год, достигнув примерно 30 000–40 000 токенов. Это указывает на то, что отрасль вступила в фазу «размышления» с масштабированием во время тестирования, согласно трем законам масштабирования NVIDIA. Взрывной рост количества токенов на один запрос напрямую приводит к увеличению потребностей в памяти и вычислительных ресурсах.
В эпоху AI-инференса требования к аппаратному обеспечению AI-чипов и систем в целом кардинально отличаются от требований при AI-обучении. Инференс предъявляет три ключевых требования к аппаратному обеспечению: более высокая частота запросов в секунду, более длинные контекстные окна, а также большее количество шагов инференса и циклов агентного AI. Эти факторы вместе приводят к структурным изменениям в потребностях в памяти, которые можно проанализировать с трех аспектов: веса моделей, KV-кэш и агентный AI.
