Репортаж от Wedoany，Компания Ant Group недавно опубликовала в открытом доступе два фреймворка безопасности ИИ — SingGuard-NSFA для безопасности агентов и SingGuard для мультимодальных больших языковых моделей. Они направлены на переход от «исправления уязвимостей» к созданию «фреймворков безопасности» для противодействия поведенческим рискам, связанным с большими языковыми моделями.
Ранее платформа NVDB Министерства промышленности и информатизации КНР опубликовала предупреждение о рисках, указав, что Claude Code содержит скрытые угрозы безопасности, позволяющие собирать конфиденциальную информацию без ведома пользователя. Также неоднократно сообщалось об опасных уязвимостях в OpenClaw. Это отражает общую тенденцию развития продуктов на основе агентов: от быстрого распространения к потере доверия. По мере роста возможностей ИИ усиливаются риски, связанные с неправомерным использованием инструментов, генерацией вредоносного кода, инъекциями подсказок и другими действиями.
Форма рисков безопасности меняется, и отрасль начинает смещать фокус с проверки содержания выходных данных моделей на безопасность поведения моделей. Именно в этом контексте Ant Group представила фреймворки SingGuard-NSFA и SingGuard.
Данные фреймворки разработаны компанией Ant Group, которая долгое время специализируется на безопасности платежей и системах управления рисками. Безопасность ИИ является естественным продолжением развития её компетенций в области безопасности.
Традиционная безопасность ИИ в основном полагалась на проверку содержания, но большие языковые модели больше не ограничиваются чатами; они начали вызывать инструменты и выполнять код, поэтому традиционные системы классификации безопасности контента не могут охватить риски, связанные с поведением моделей. Кроме того, мультимодальные риски существуют не только в тексте, но могут быть скрыты в деталях изображений, комбинациях текста и изображений или в самих ответах модели. «Красные линии» безопасности для разных бизнес-сфер также динамически меняются. Отрасли нужны не «заплатки», а базовые фреймворки, способные определять границы безопасности, противостоять неизвестным рискам и адаптироваться к изменяющимся правилам.
SingGuard-NSFA — это фреймворк с двухрежимным механизмом логических рассуждений для безопасности агентов, доступный в четырёх размерах: 0,8B, 2B, 4B и 9B. Этот фреймворк переносит проверку безопасности на этап до выполнения действий агентом, устанавливая барьеры как на этапе перехвата запросов, так и на этапе подстраховки ответов, тем самым продвигая линию обороны от текстового соответствия к безопасности поведения. Основой для этого служит систематическая классификация рисков NSFA и многоязычный оценочный бенчмарк. Ant Group использует триаду CIA (конфиденциальность, целостность, доступность) в качестве теоретической основы, а также три руководства OWASP по безопасности больших языковых моделей и агентов для декомпозиции рисков агентов. Фреймворк использует генеративный режим для вывода цепочечных логических рассуждений на основе определения NSFA, используемых для офлайн-аудита соответствия; и дискриминативный режим, который напрямую выдает уровни достоверности по каждой области риска с задержкой от 45 до 57 миллисекунд, используемый для высокопроизводительной онлайн-блокировки в реальном времени. Поскольку базовая сеть заморожена, для добавления новых рисков требуется только дополнительное обучение легковесной головы классификации, что обеспечивает нативную расширяемость.
Данная архитектура может использоваться как плагин. Например, после добавления головы классификации к Llama Guard 3 значение F1 для бенчмарка безопасности пользовательских запросов увеличилось на 17,6 процентных пункта. SingGuard-NSFA достиг SOTA по трём основным оценочным бенчмаркам: безопасность пользовательских запросов, безопасность ответов модели и обобщение на разных наборах данных. Модель размером 0,8B сопоставима с конкурентами размером 8B, а модель размером 9B достигла 91,29% F1 на задачах обобщения, демонстрируя более сбалансированную точность и полноту.
Другой открытый фреймворк, SingGuard, предназначен для мультимодальных больших языковых моделей и доступен в четырёх размерах: 0,8B, 2B, 4B и 8B. Этот фреймворк использует правила безопасности в качестве входных данных времени выполнения. Различные бизнес-сферы могут на месте задавать свои собственные «красные линии», и модель оценивает их по каждой линии. На стороне логического вывода используется разделение на быстрый и медленный режимы: быстрое мышление отвечает за низкозадержанное принятие решений за секунды, а медленное мышление — за углублённые логические рассуждения по каждому правилу. Переключение между ними происходит автоматически через механизм early exit. Для решения проблемы узкого места эффективности при параллельной проверке нескольких правил Ant Group предложила RI-Mask, который кодирует общий контекст изображения и текста только один раз, позволяя параллельно оценивать несколько правил, что ускоряет мультимодальные логические рассуждения до 5 раз и более.
SingGuard-NSFA и SingGuard ориентированы на поведение ИИ и восприятие ИИ соответственно, но оба подчеркивают объяснимость процессов и расширяемость для новых рисков. Можно отследить, какое именно правило было нарушено и на каком основании, а добавление новых рисков требует лишь легковесного расширения.
Ранее в этом году лаборатория безопасности ИИ Ant Group обнаружила несколько опасных уязвимостей и помогла официально их устранить. После этого Ant Group совместно с Университетом Цинхуа опубликовала в открытом доступе ClawAegis, предоставляющий агентам решение безопасности, охватывающее весь жизненный цикл продукта. Публикация данных фреймворков безопасности является продолжением этого курса: от поиска уязвимостей к сценарным решениям и, наконец, к повторно используемым базовым фреймворкам. Продукт безопасности агентов Ant Group получил высший рейтинг от лаборатории TAIL (Китайской академии информационных и коммуникационных технологий).
По мере проникновения агентов в офисные, бытовые и жизненные сценарии, безопасность ИИ вступит в новый этап. Создание инфраструктуры безопасности, способной постоянно адаптироваться к изменяющимся рискам, является ключевой задачей для отрасли на следующем этапе.
