Академия информационных и коммуникационных технологий Китая опубликовала результаты мониторинга производительности сервисов токенов для больших языковых моделей в публичных облаках за 2026 год

Репортаж от Wedoany，Академия информационных и коммуникационных технологий Китая (сокращенно «Академия информационных и коммуникационных технологий Китая») на семинаре «Высококачественные сервисы токенов», состоявшемся 16 июня 2026 года, опубликовала последние результаты мониторинга производительности сервисов токенов для больших языковых моделей. Цинь Сисы, старший бизнес-руководитель отдела платформ и инжиниринга Института исследований искусственного интеллекта Академии информационных и коммуникационных технологий Китая, представил и прокомментировал «Отчет о мониторинге производительности сервисов токенов для больших языковых моделей (публичные облака, 2026 год)». Мониторинг показал, что в 2026 году общая стабильность вызовов сервисов токенов для больших языковых моделей в публичных облаках Китая была стабильной, количество выводимых токенов в секунду (TPS) и задержка первого слова (TTFT) синхронно увеличились, а цены на услуги заметно выросли.

Академия информационных и коммуникационных технологий Китая начала мониторинг производительности сервисов токенов для больших языковых моделей в конце 2024 года и к настоящему времени сформировала интегрированную систему мониторинга «стандарт-показатель-данные-платформа». Эта система, основанная на соответствующих стандартах, таких как «Методы тестирования производительности сервисов вывода больших языковых моделей» (ITU-T F.PEM-LLM, 2026-0478T-YD, AIAT/T 0221-2025), разработала комплексный набор показателей производительности и многомерных наборов тестовых данных, а также проводит круглосуточный мониторинг производительности с помощью серверов, расположенных в разных географических точках. По состоянию на май 2026 года было протестировано более сотни сервисов токенов для больших языковых моделей в публичных облаках. Объекты мониторинга охватывают как оригинальные сервисы токенов для больших языковых моделей отечественных и зарубежных производителей, так и инженерные реализации открытых моделей, таких как DeepSeek, Qwen, GLM, Kimi, на различных платформах. Что касается частоты мониторинга, ежедневно в разное время с серверов, расположенных в разных географических точках, непрерывно отправляются запросы. С конца мая 2026 года частота мониторинга успешности вызовов была обновлена до одного раза каждые 5 минут, чтобы более чутко улавливать колебания в работе сервисов.

Данные мониторинга выявили три основные тенденции. Первая: пропускная способность и задержка сервисов токенов для больших языковых моделей увеличиваются синхронно. В Китае с января по апрель успешность вызовов оригинальных больших языковых моделей достигала более 99,9%, а доля сервисов токенов со 100% успешностью вызовов выросла с 75% до 83%. В мае, из-за увеличения частоты выборки мониторинга с 15 раз в день до одного раза каждые 5 минут, было зафиксировано больше случайных случаев недоступности, общая успешность вызовов снизилась до 99,79%, а доля со 100% успешностью упала до 39%.

Что касается показателя TPS, среднее значение в Китае с января по май стабильно росло, увеличившись в мае на 73,12% по сравнению со средним показателем за весь 2025 год. У двух моделей TPS превысил 100 токенов/сек, максимальное значение превысило 200 токенов/сек, среднее значение составило 66,22 токена/сек, а медиана — 53,68 токена/сек. Зарубежные модели в целом сохраняют более высокий уровень TPS: Gemini-3.1-pro-preview достиг 158,37 токена/сек, GPT-5.5 — 64,08 токена/сек, среднее значение в мае составило 99,03 токена/сек, что все еще значительно превышает показатели в Китае.

Что касается задержки первого слова, средний TTFT в Китае с января по май увеличился с 0,8 секунды до 1,09 секунды, рост составил 36,25%. В мае минимальный TTFT составил 0,4 секунды, максимальный достиг 1,64 секунды, у 47% моделей TTFT был ниже 1 секунды. TTFT трех зарубежных моделей с большим количеством параметров превысил 1 секунду, в среднем достигнув 1,8 секунды, у Gemini-3.1-pro-preview максимальное значение превысило 2 секунды. В отчете отмечается, что рост TTFT является не просто деградацией производительности, а результатом наложения множества факторов, таких как увеличение количества параметров модели, длины контекста и объема вызовов.

Вторая тенденция: большие языковые модели развиваются в направлении «возврата к ценности» и «скачка возможностей». Что касается рыночных цен, в 2026 году цены на сервисы токенов заметно восстановились. Во втором полугодии 2025 года нормализованная цена за миллион токенов составляла 6,8 юаня, а в 2026 году выросла до 10,3 юаня, рост составил 51%, но все еще значительно ниже уровня цен зарубежных основных моделей, составляющего около 120 юаней. В отчете подчеркивается, что при расчете фактической стоимости использования необходимо комплексно учитывать цену за единицу и эффективность потребления токенов. Зарубежные модели потребляют меньше токенов в процессе вывода, но из-за высоких цен общая сумма расходов все еще высока, причем GPT и Claude являются двумя моделями с самыми высокими расходами. Китайские модели, как правило, потребляют больше токенов, но из-за низких цен общая сумма расходов невелика.

Длина контекста моделей продолжает расширяться до миллионов. В мае доля китайских моделей с длиной контекста 1M (один миллион токенов) составила 35,3%, а в сумме с моделями, имеющими 200K и более, достигла 88,3%, что более чем на 60% выше, чем в конце 2025 года. Длина контекста новейших серий моделей зарубежных компаний OpenAI, Anthropic и Google уже достигла 1M и более. Отечественные открытые большие языковые модели стали основным выбором для многих платформ по всему миру. Среди 22 опрошенных отечественных и зарубежных MaaS-платформ частота развертывания моделей серий DeepSeek и Qwen достигла 100%, а частота развертывания серий GLM, Kimi и MiniMax составила 91%, 86% и 82% соответственно.

Третья тенденция: производительность вывода открытых моделей на различных MaaS-платформах явно различается. Производительность одной и той же модели на разных платформах значительно колеблется, что указывает на существенные различия в инженерной оптимизации на стороне платформы. TPS четырех отечественных открытых моделей на разных платформах в основном сосредоточен около 50 токенов/сек, а TTFT — около 1 секунды. Успешность вызовов в целом близка к 100%, однако у отдельных моделей на некоторых платформах успешность вызовов все еще ниже 90%, что указывает на наличие пространства для дальнейшей оптимизации стабильности сервисов платформ.

Академия информационных и коммуникационных технологий Китая заявила, что в дальнейшем работа по мониторингу производительности сервисов токенов будет углубляться по четырем направлениям. Первое: оптимизация системы мониторинга, включая добавление мониторинга показателей производительности мультимодальных больших языковых моделей, сокращение цикла публикации отчетов, совершенствование функций автоматического анализа и оповещения на платформе. Второе: постепенное открытие данных мониторинга для обеспечения поддержки данными научных исследований, отраслевого анализа и выбора приложений. Третье: создание региональных платформ мониторинга для предоставления настраиваемых услуг регионам и группам, а также использование их в качестве базового стандарта для допуска к сервисам Token Factory. Четвертое: усиление механизмов контроля качества услуг и оповещения об аномалиях, углубленный анализ проблем и контроль качества в аномальных ситуациях.

Академия информационных и коммуникационных технологий Китая продолжит совместную работу с различными отраслевыми кругами, опираясь на Рабочую группу по токен-сервисам (в стадии подготовки) Альянса индустрии искусственного интеллекта Китая (AIIA), углубляя и продвигая работу в таких областях, как разработка стандартов, программа «Восхождение», подготовка исследовательских отчетов, а также оценка и тестирование соответствия стандартам, чтобы ускорить создание высококачественной экосистемы сервисов токенов.