Репортаж от Wedoany，Первый в Пекине завод токенов — Пекинский завод токенов №1 — официально начал работу в зоне инноваций и информационной безопасности экономико-технологического района развития. Завод построен компанией SoftPower Information Technology Co., Ltd. Суточная мощность первой очереди проекта составляет 1,4 трлн токенов.
Токен — минимальная единица обработки текста в ИИ. Вычислительная мощность определяет количество токенов, обрабатываемых в секунду, и стоимость их использования. Завод состоит из множества серверов и предназначен для преобразования вычислительной мощности в стабильный и доступный общественный ресурс, обслуживающий эволюцию больших языковых моделей от простых диалогов к долгосрочным системам.
Пекинский завод токенов №1 ориентирован на сценарии обслуживания агентов. За счет предельных инженерных методов он выжимает максимум из аппаратного обеспечения, интегрирует передовые алгоритмы планирования вычислительных мощностей и алгоритмы предельного повторного использования KV-кэша. Гарантируется доступность сервиса не менее 99,9%, задержка первого символа P90 менее 10 секунд с колебаниями менее 20%, а частота попаданий в кэш не менее 90%. Завод может работать круглосуточно 7 дней в неделю. Половина задач по ключевым показателям отклика выполняется в течение 6 секунд, 90% задач — менее чем за 10 секунд, а колебания контролируются в пределах 20%.
Компания SoftPower одновременно открыла глобальный доступ к эталону производительности заводов токенов, включающему оценочную платформу LoadGen 2.0. Этот эталон основан на глубокой реструктуризации отраслевого стандарта MLPerf LoadGen, что позволило перейти от статического конкурентного ввода к динамическому моделированию поведения, определяя и воспроизводя реальные хаотичные ситуации в тестовой среде. Эталон использует трехуровневую прогрессивную систему оценки (нижний уровень — метод описания хаотичной нагрузки, средний уровень — три стандартных метода тестирования: номинальная мощность/бизнес/точность, верхний уровень — стандартные наборы данных для различных областей) для оценки и сравнения реальной производительности вычислительных кластеров. LoadGen 2.0 полностью открыт.
На следующем этапе Пекинский завод токенов №1 будет взаимодействовать с базами зеленой энергии в Чжанцзякоу, Уланчабе и других местах, формируя единый вычислительный кластер Пекин-Тяньцзинь-Хэбэй. Долгосрочная цель — суточное производство 10 трлн токенов. Отраслевые эксперты считают, что реализация этого проекта восполнила дефицит крупномасштабных высокопроизводительных вычислительных мощностей в стране, установила отраслевой стандарт для вычислительных услуг и оценки, а также привлечет больше компаний из смежных с ИИ отраслей, постоянно совершенствуя региональную цепочку искусственного интеллекта.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
