Репортаж от Wedoany，China Unicom Digital Intelligence совместно с Университетом Цинхуа, Пекинским университетом, Лабораторией Чжицзян и другими университетами, исследовательскими институтами и отраслевыми партнёрами выпустила первую в отрасли «Белую книгу по технологиям оптимизации вывода больших языковых моделей для управления токенами».

В белой книге впервые предложена четырёхуровневая архитектура вывода: «объединение множества моделей — оптимизация моделей — интеграция моделей и вычислений — интеграция вычислений, сетей и моделей». В ней систематически рассматриваются ключевые технологии на каждом уровне и текущее состояние отрасли, а также анализируется прикладная ценность соответствующих технологий в реальных бизнес-сценариях. Эти технологии направлены на снижение стоимости генерации токенов, повышение эффективности обслуживания токенов, обеспечение стабильности поставок токенов и содействие переходу услуг больших языковых моделей от «вызываемости» к «управляемости».

На уровне объединения множества моделей рассматриваются количественная оценка границ возможностей моделей, интеллектуальная маршрутизация, каскадирование моделей и ансамблирование моделей, что позволяет решать задачу подбора подходящей модели для различных запросов.

На уровне оптимизации моделей рассматриваются механизмы внимания с низкой сложностью, оптимизация архитектуры смешанных экспертов, спекулятивное декодирование, квантизация моделей, дистилляция моделей, оптимизация цепочек рассуждений, управление памятью, сжатие кэша ключей-значений и оптимизация путей генерации диффузионных моделей, что направлено на снижение стоимости генерации единичного токена.

На уровне интеграции моделей и вычислений рассматриваются слияние операторов, оптимизация доступа к видеопамяти, ускорение базовых операторов, настройка параметров движка и адаптация архитектуры моделей, что повышает эффективность выполнения между моделями и оборудованием.

На уровне интеграции вычислений, сетей и моделей рассматриваются многомашинный параллельный вывод, динамическая пакетная обработка, повторное использование кэша, маршрутизация липких сессий, балансировка нагрузки, ограничение скорости и понижение приоритета, что обеспечивает стабильную поставку услуг для крупномасштабного обслуживания токенов.