Репортаж от Wedoany，Шанхайская лаборатория искусственного интеллекта (Шанхайская лаборатория ИИ) недавно получила утверждение на реализацию шести национальных стандартов, охватывающих передовые области ИИ, такие как большие языковые модели, научный интеллект, безопасность ИИ и воплощённый интеллект. Одновременно лаборатория активно продвигает утверждение и разработку ряда ключевых стандартов ИИ, включая первый международный стандарт IEEE в области научного интеллекта. Выполняя обязанности головной организации рабочей группы WG9, лаборатория систематически формирует полную цепочку нормативов управления безопасностью ИИ, способствуя высококачественному развитию индустрии искусственного интеллекта Китая.
Основываясь на долгосрочной координации промышленности, академических кругов и научных исследований, лаборатория уже создала комплексную матрицу стандартов оценки ИИ, охватывающую все области, многоуровневую систему и полный бизнес-процесс. Разрабатывая интегрированную систему оценки, сочетающую объективные и субъективные методы, лаборатория исследует возможность создания парадигмы оценки, учитывающей как технические характеристики, так и практическое применение, чтобы поддержать реализацию инициативы «Искусственный интеллект+».
Шесть утверждённых национальных стандартов включают: «Искусственный интеллект — Технические требования к созданию платформы оценки больших языковых моделей», «Искусственный интеллект — Технические спецификации подготовки научных данных», «Искусственный интеллект — Технические спецификации сбора и классификации научных данных», «Технологии сетевой безопасности — Метод оценки зрелости безопасности искусственного интеллекта», «Искусственный интеллект — Спецификации оценки мировых моделей» и «Искусственный интеллект — Спецификации качества данных для воплощённого интеллекта, часть 2: Генерируемые данные». На сегодняшний день Шанхайская лаборатория ИИ совместно с научно-исследовательскими институтами, университетами и промышленными предприятиями создала матрицу стандартов оценки ИИ, охватывающую все области, многоуровневую систему и полный бизнес-процесс. В плане охвата областей горизонтально развёрнуты четыре ключевых направления: большие языковые модели, научный интеллект, безопасность ИИ и воплощённый интеллект, с детализацией по сценариям, таким как универсальные большие модели, мультимодальные модели, мировые модели, агенты, симуляция человекоподобных роботов, охватывающие текстовые, аудиовизуальные, воплощённые взаимодействия и практические сценарии тестирования ИИ-продуктов в различных отраслях. В плане иерархической системы вертикально построена четырёхуровневая согласованная структура стандартов: национальные стандарты устанавливают отраслевые нижние границы, отраслевые стандарты детализируют требования к субъективной оценке, групповые стандарты реализуют сценарные решения, а параллельно разрабатываются международные стандарты IEEE, формируя систему «базовые нормы — специальные показатели — правила внедрения — международные правила». В плане бизнес-процесса все стандарты разрабатываются по замкнутому циклу «определение показателей — методы тестирования — спецификации наборов данных — создание платформы — приёмка по безопасности», охватывая ключевые этапы, такие как итерация разработки модели, заводское тестирование, сторонняя оценка, отраслевое внедрение и эксплуатация платформы оценки.
Одним из нововведений в этой матрице стандартов является механизм интегрированной объективно-субъективной оценки. Этот механизм, основанный на объективных количественных измерениях, обеспечивает полное покрытие показателей, реализацию на всех этапах и взаимное признание результатов между организациями; одновременно стандартизируются субъективные показатели восприятия, такие как интерактивный опыт и адаптация к сценариям, а разрозненные субъективные ощущения количественно фиксируются. Два типа данных оценки взаимно калибруются, превращая оценку ИИ из простого измерения производительности в комплексную систему оценки, учитывающую технические возможности, пользовательский опыт и промышленную ценность.
Матрица стандартов оценки ИИ, созданная Шанхайской лабораторией ИИ, направлена на устранение отраслевых барьеров в оценке, унификацию национальных эталонов оценки передового ИИ, обеспечение взаимного признания результатов оценки между организациями и снижение затрат предприятий на повторное тестирование. Эта матрица также будет регулировать итерацию разработки передовых технологий, таких как большие языковые модели, воплощённый интеллект и научный интеллект, повышать производительность и уровень безопасности и соответствия ИИ-продуктов, а также поддерживать международное позиционирование Китая в области стандартов ИИ.
В будущем Шанхайская лаборатория ИИ продолжит работу в области стандартизации оценки ИИ, итеративно обновляя матрицу стандартов, дополняя детальные правила оценки для конкретных сценариев и оптимизируя процесс внедрения интегрированной объективно-субъективной оценки. Лаборатория углубит координацию промышленности, академических кругов, научных исследований и применения, создаст открытую и совместную платформу для проверки стандартов, объединит научно-исследовательские институты, университеты и промышленные предприятия для разработки и экспериментальной проверки стандартов, а также продвинет их внедрение, ускоряя масштабный вывод отечественных стандартов.
