Репортаж от Wedoany，13 июля китайский поставщик услуг по производству AI-токенов Qujing Technology объявил о новом раунде планов по строительству инфраструктуры, который предусматривает увеличение резервов мощностей по производству AI-токенов, модернизацию собственной высокопроизводительной платформы ATaaS для производства AI-токенов, а также строительство заводов по производству AI-токенов, ориентированных на ведущие большие языковые модели, интернет-платформы и региональные промышленные экосистемы. Проект также расширит масштабы подключения отечественных гетерогенных вычислительных мощностей, позволяя вычислительным чипам различных архитектур войти в ключевые производственные сценарии, такие как инференс больших моделей, работа агентов и корпоративные генеративные сервисы.
Завод по производству AI-токенов — это не просто увеличение количества серверов, а формирование непрерывной производственной цепочки из чипов, памяти, хранилищ, сетей, инференс-движков и систем планирования. Когда пользователь отправляет задачу модели, система должна выполнить классификацию запросов, загрузку модели, распределение вычислительных ресурсов, предобработку промпта, генерацию первого токена, последующее непрерывное декодирование токенов и возврат результата. Ожидание ресурсов, сбой кэша или блокировка связи на любом из этих этапов напрямую повлияют на задержку первого токена, количество токенов в секунду и способность обрабатывать параллельные запросы. Ключевая цель текущего расширения Qujing Technology — обеспечить стабильное преобразование новых вычислительных мощностей в устойчиво поставляемую мощность по производству токенов, а не создание пула вычислительных ресурсов, обладающего только аппаратными масштабами, но лишенного эффективности инференса.
Платформа ATaaS продолжит выполнять функции планирования ресурсов между различными вычислительными устройствами. Платформа может разделять задачи инференса больших моделей на такие аппаратные компоненты, как графические процессоры, центральные процессоры, память и твердотельные накопители, избегая концентрации всех вычислений на одном типе ускорителей; в кластерах, где сосуществуют отечественные и зарубежные чипы, необходимо также идентифицировать вычислительную мощность, видеопамять, пропускную способность и совместимость программного обеспечения различных устройств, чтобы затем решить, на каком типе устройств должны выполняться слои модели, операторы или запросы.
Ввод в эксплуатацию отечественных гетерогенных вычислительных мощностей также включает унифицированное управление базовым инференс-программным обеспечением. Различные чипы обычно используют разные вычислительные архитектуры, библиотеки операторов, драйверы и коммуникационные компоненты, поэтому одну и ту же модель нельзя просто скопировать и запустить на всех устройствах. ATaaS должна выполнить адаптацию формата квантования, совместимости операторов, способа распределения видеопамяти и стратегии межузловой коммуникации до того, как модель войдет в производственную среду, и распределять нагрузку между различными аппаратными средствами в зависимости от фактической задачи. Короткие текстовые запросы, обработка длинного контекста, генерация кода, вывод структурированных данных и вызов инструментов агента предъявляют разные требования к вычислительным и хранилищным ресурсам, поэтому система должна динамически выбирать устройства в зависимости от рабочей нагрузки, а не использовать фиксированную конфигурацию в течение длительного времени.
Инференс больших моделей обычно делится на два этапа: префиллинг и декодирование. Этап префиллинга требует интенсивной обработки входного контекста пользователя и характеризуется высокой вычислительной плотностью; этап декодирования генерирует токены по одному и предъявляет более высокие требования к скорости доступа к памяти, объему кэша и способности к непрерывному планированию. Qujing Technology использует координированный подход к вычислениям и хранению для управления KV Cache, сохраняя промежуточные состояния уже вычисленного контекста в памяти или системе хранения. Когда несколько запросов содержат одинаковые или похожие системные промпты, содержимое базы знаний и историю диалогов, система может напрямую считывать кэш, уменьшая количество повторных вычислений модели. Ранее раскрытая технологическая система платформы также включает совместное использование кэша между кластерами, изоляцию конвейеров инференса, эластичное масштабирование и мониторинг качества для обработки повторного использования кэша, конкуренции за ресурсы и колебаний сервиса в задачах с высокой степенью параллелизма.
Новые заводы по производству AI-токенов будут ориентированы на различные типы производственных нагрузок. Ведущим моделям требуется долгосрочная эксплуатация крупномасштабных инференс-кластеров с высокими требованиями к параллелизму, скорости возврата первого токена и стабильности вывода; запросы интернет-платформ имеют явные пики и спады, поэтому системе необходимо быстро добавлять или освобождать вычислительные узлы; региональные промышленные экосистемы могут одновременно подключать задачи в сферах государственного управления, производства, финансов, здравоохранения и корпоративного офиса, при этом разные бизнес-направления требуют независимых моделей, прав доступа к данным и параметров качества обслуживания. ATaaS преобразует эти потребности в конфигурацию базовых вычислительных мощностей и управляет использованием ресурсов через очередь задач, планирование экземпляров моделей и масштабирование узлов.
Ранее раскрытая платформа ATaaS компании Qujing Technology уже сформировала способность обрабатывать почти триллион токенов в сутки и может обслуживать десятки тысяч запросов на инференс искусственного интеллекта. Платформа использует подход «мало моделей, глубокая оптимизация», концентрируя ресурсы на небольшом количестве производственных моделей и проводя специализированную настройку по таким параметрам, как задержка первого токена, количество токенов в секунду, структурированный вывод и стабильность вызова функций. В настоящее время ее инференс-сервисы используются в бизнесе, связанном с такими моделями, как китайская GLM от Zhipu AI и китайская Kimi от Moonshot AI.
Средства, необходимые для данного строительства, поступают из недавно завершенного раунда финансирования серии A компании Qujing Technology. За полгода общий объем привлеченных компанией средств превысил 1 миллиард юаней. Данный раунд возглавил фонд Huirong из китайской Henan Investment Group, а прежние акционеры, включая китайский Zhenzhi Capital, китайский Shangshi Capital, китайский Xinglian Capital, китайский Shanghai Guofang Innovation, китайский Honghui Fund, китайский Huakong Fund и китайский Hangzhou Fucheng, продолжили участие. Сумма финансирования, доли участия каждого учреждения и последняя оценка компании не разглашаются, однако назначение средств уже четко определено: они будут направлены на резервирование вычислительных мощностей, модернизацию платформы ATaaS и строительство заводов по производству AI-токенов.
В процессе расширения количество вычислительных мощностей не является единственным показателем производительности. Производство AI-токенов также требует постоянного мониторинга задержки первого токена, скорости декодирования, количества параллельных запросов, загрузки оборудования, процента попаданий в кэш, процента отказов задач и процента успешного структурированного вывода, а также корректировки стратегии планирования в зависимости от версии модели и рабочей нагрузки. Если в вычислительном кластере только добавлять ускорители, но не расширять параллельно высокоскоростные соединения, память, хранилища и инференс-программное обеспечение, новое оборудование может простаивать из-за ожидания связи или перемещения данных. Данное строительство Qujing Technology объединяет отечественные гетерогенные вычислительные мощности и платформу ATaaS в единую производственную систему с целью совместного выполнения задач инференса различными чипами и преобразования разрозненных вычислительных ресурсов в измеримую и управляемую мощность по производству токенов.
В настоящее время Qujing Technology еще не раскрыла масштаб новых вычислительных мощностей, модели чипов, количество заводов по производству AI-токенов, место реализации проекта и сроки первого ввода в эксплуатацию. Уже определенные направления строительства включают расширение резервов мощностей, модернизацию базовой инференс-системы, увеличение производственной нагрузки на отечественные гетерогенные вычислительные мощности, а также создание специализированных мощностей по производству токенов для ведущих моделей, интернет-платформ и региональных проектов.
