Репортаж от Wedoany，Китайская компания Shishi Technology на выставке WAIC 2026 в Шанхае представила отечественную фабрику оптимизации токенов «Туюань (Vectron)», направленную на повышение эффективности использования вычислительных мощностей AI-инфраструктуры. Основатель и председатель совета директоров компании Янь Бовэнь на презентации отметил, что в Китае уже построено более 50 центров интеллектуальных вычислений, общий объём интеллектуальных вычислительных мощностей превышает 1000 EFLOPS, однако средняя эффективность их использования всё ещё имеет огромный потенциал для повышения. Значительная часть вычислительных мощностей расходуется впустую, а недостаточная производительность при работе с длинным контекстом и мультимодальными ответами является распространённым явлением.
Янь Бовэнь заявил, что в период «Пятнадцатой пятилетки» общий объём инвестиций в индустрию вычислительных мощностей Китая, как ожидается, достигнет 7 триллионов юаней. Повышение эффективности использования вычислительных мощностей на 10–20 процентных пунктов позволит высвободить триллионный потенциал стоимости вычислительных ресурсов. Он считает, что конкуренция в сфере AI-инфраструктуры переходит от «гонки за масштабами вычислительных мощностей» к «гонке за эффективностью вычислений».
Продукт «Туюань» формирует комплексную систему оптимизации AI-инфраструктуры, сосредоточенную на решении таких задач, как унифицированное управление гетерогенными вычислительными мощностями, глубокая оптимизация вывода больших моделей, снижение нагрузки на видеопамять при работе с длинным контекстом и адаптация к экосистеме отечественных чипов. Платформа полностью совместима с более чем 10 типами отечественных чипов для вычислений, включая Ascend, Kunlun Core, Tianshu Zhixin, Taichu, Hanbo Semiconductor, Moore Threads, Muxi, Enflame и другие, а также адаптирована под более чем 20 основных моделей, обеспечивая унифицированное управление и ускорение вывода для пула отечественных гетерогенных вычислительных мощностей с ежедневной пропускной способностью токенов на уровне сотен миллиардов.
В области ключевых технологий «Туюань» использует технологию сжатия KV Cache на основе восприятия результатов, которая позволяет снизить нагрузку на видеопамять без ущерба для эффективности модели. В сценариях полимодального вывода применяется метод сжатия токенов без обучения на основе модальной адаптации, осуществляющий фильтрацию информации для различных входных данных, таких как текст, видео и аудио. Для оптимизации работы с длинным контекстом «Туюань» использует метод обучения на длинных контекстах с синтезом смешанных позиционных индексов и механизм перечитывания с управлением памятью, что позволяет добиться улучшения результатов при значительно меньшем объёме обучающих данных по сравнению с аналогичными методами. Кроме того, продукт включает масштабируемый метод моделирования вознаграждений на основе мета-вознаграждений, поддерживающий самооптимизацию системы вывода, а также целенаправленную стратегию запоминания информации для обеспечения стабильного выполнения долгосрочных задач интеллектуальными агентами.
Компания Shishi Technology была основана в 2021 году, её команда основателей происходит с факультета компьютерных наук Университета Цинхуа. В состав ключевых сотрудников входят эксперты в области высокопроизводительных вычислений, искусственного интеллекта, а также учёные из Университета Цинхуа, Пекинского университета, Пекинского университета авиации и космонавтики и других вузов. Компания уже обслужила более 200 клиентов, охватывая такие отрасли, как интернет, компании по разработке больших моделей, авиакосмическая промышленность, биофармацевтика и новые источники энергии.
