Китайская академия информационных и коммуникационных технологий (CAICT) представила международную инициативу по оценке больших языковых моделей в Женеве, Швейцария

Репортаж от Wedoany，Недавно Китайская академия информационных и коммуникационных технологий (CAICT) провела семинар по оценке больших языковых моделей и стандартизации в рамках глобального саммита «Искусственный интеллект во благо» (AI for Good) в Женеве, Швейцария. Заместитель директора Бюро стандартизации электросвязи Международного союза электросвязи (МСЭ) Билал Джамусси и президент CAICT Юй Сяохуэй выступили с приветственными речами. Мероприятие было направлено на дальнейшее выполнение рекомендаций «Глобального цифрового договора» ООН по устранению нового цифрового разрыва в области оценки ИИ.

В своей речи Билал Джамусси отметил, что международные стандарты становятся важной опорой для управления ИИ и обеспечения доверия к его применению. МСЭ уже опубликовал международные стандарты эталонного тестирования больших языковых моделей и продолжает работу по стандартизации мультимодальных больших моделей. Инициатива, представленная на семинаре, направлена на содействие междисциплинарному и межведомственному сотрудничеству в области показателей, методов и стандартов оценки, способствуя безопасному, инклюзивному и благотворному развитию ИИ.

Президент CAICT Юй Сяохуэй подчеркнул, что система оценки больших языковых моделей отражает ценностный выбор человечества в отношении направления развития ИИ. Определение параметров и методов оценки будет оказывать глубокое влияние на траекторию технологического прогресса и внедрения, являясь важной основой для обеспечения доверия к ИИ, социальной справедливости и устойчивого развития. Он отметил, что ключ к продвижению международного сотрудничества в области оценки заключается в формировании глобального консенсуса, что требует как координации технических подходов к оценке, так и совместного установления ценностных ориентиров безопасности, доверия, управляемости и благотворности.

В своем программном выступлении Ван Цзянь, академик Китайской инженерной академии, основатель Alibaba Cloud и директор Лаборатории Чжэцзян, заявил, что большие языковые модели как высокосложные системы ставят перед разработчиками задачу точного определения границ их возможностей, что создает огромные вызовы для оценки. Он отметил, что текущая оценка в основном сводится к тестированию функциональности системы, и в будущем можно заимствовать подходы к тестированию интеллекта человека для разработки единой методологии измерения машинного интеллекта. Смысл оценки заключается не только в выставлении баллов и рейтингов, но и в помощи пониманию и продвижению самой технологии.

Линь Юнхуа, заместитель директора и главный инженер Пекинского института искусственного интеллекта (BAAI), Жиль Тоне, заместитель генерального секретаря Международной электротехнической комиссии (МЭК), Николя Миай, сооснователь AI Safety Connect, а также эксперты из Korabench.ai, Amazon Web Services, Future Ethics Lab, Корейского института электроники и телекоммуникаций (ETRI), Huawei, ZTE и других организаций поделились практическим опытом и провели углубленные обсуждения по таким темам, как научные базовые модели, тестирование «красных команд», измерение поведения ИИ, интероперабельность стандартов и международное взаимное признание. Участники пришли к четырем консенсусным выводам: во-первых, доверие к ИИ должно основываться на проверке, а не на декларациях, и оценка является базовой способностью для продвижения ИИ во благо; во-вторых, ограничения статических бенчмарков становятся все более очевидными, и оценка должна стать динамичной, непрерывной и охватывать весь жизненный цикл; в-третьих, сфера оценки должна расширяться от моделей к приложениям, учитывая как долгосрочные риски, так и текущие последствия; в-четвертых, необходимо усилить обмен методами и взаимное признание результатов, превращая стандарты и оценку в глобальную общественную инфраструктуру, чтобы результаты оценки приносили пользу большему числу стран и групп населения.

Вэй Кай, директор Института исследований ИИ CAICT, в своем докладе «Оценка больших языковых моделей: практика и стандартизация» представил систему оценки больших языковых моделей «Фаншэн». Вэй Кай отметил, что оценка больших языковых моделей выполняет три ключевые функции: «компас», направляющий технологические инновации, «соединитель», связывающий технологии и приложения, и «предохранительный клапан», обеспечивающий благотворное развитие ИИ. В будущем оценка возможностей будет больше ориентирована на проверку сложных задач, оценка безопасности и доверия будет расширяться до выявления системных рисков, а оценка инженерной эффективности будет усиливать координацию затрат и производительности. Система «Фаншэн», основанная на стандарте ITU-T F.748.44, охватывает такие аспекты, как возможности, приложения, безопасность и доверие, а также передовой интеллект. По состоянию на июль 2026 года система провела более 1500 оценок, создала 8,5 миллиона тестовых наборов данных и снизила риски загрязнения данных и «подгонки под тесты» за счет динамического тестирования.

На мероприятии CAICT представила «Международную инициативу по совместному созданию системы оценки больших языковых моделей и их благотворному развитию», в которой изложены десять принципов, включая осознание ценности оценки, стимулирование инноваций в оценке, совершенствование структуры оценки, укрепление базы данных, поддержку промышленных приложений, содействие открытому сотрудничеству, обеспечение прозрачности оценки, поддержание честности оценки, продвижение интероперабельности стандартов и содействие благотворному развитию ИИ. Инициатива приглашает международные организации, научно-исследовательские институты, предприятия и все слои общества делиться наборами данных и методами оценки, а также совместно создавать сообщества с открытым исходным кодом для оценки, чтобы сократить цифровой разрыв.

В будущем CAICT будет дальше углублять сотрудничество с МСЭ, МЭК, ИСО и другими международными организациями, а также с глобальной промышленностью, академическими кругами и сообществами с открытым исходным кодом, открыто делясь методами оценки, наборами данных и практическим опытом, способствуя формированию открытой, инклюзивной и интероперабельной экосистемы оценки ИИ и внося китайский вклад в благотворное развитие ИИ.