Репортаж от Wedoany，1 апреля лаборатория AI Security компании Ant Group совместно с Университетом Цинхуа открыла исходный код ClawAegis. По данным, это «система нативной безопасности и иммунитета», специально разработанная для автономных агентов типа OpenClaw. Она способна в реальном времени распознавать внедрение вредоносных команд и подмену намерений, предотвращая «гипноз» модели, а также динамически вмешиваться, когда агент готов выполнить чувствительную операцию, проводя проверку прав и аудит действий. Кроме того, она предоставляет механизм прерывания для защиты от бесконечных циклов или злоупотребления ресурсами, обеспечивая стабильность хост-машины. Совместный релиз Ant Group и Университета Цинхуа ClawAegis знаменует переход технологий безопасности для агентов ИИ от пассивной защиты к архитектуре нативной встроенной безопасности.
С технической точки зрения, ClawAegis разработан специально для автономных агентов типа OpenClaw. OpenClaw относится к системам агентов, обладающих способностью вызова инструментов, кросс-прикладных операций и автономного принятия решений. Такие агенты при выполнении пользовательских команд могут столкнуться с новыми видами атак, такими как внедрение вредоносных команд и подмена намерений. Традиционные решения безопасности обычно основаны на внешнем мониторинге и с трудом обеспечивают реальную, детальную защиту внутри агента. ClawAegis, основанный на концепции «системы нативной безопасности и иммунитета», встраивает механизмы безопасности в рабочий контур агента, обеспечивая реальное восприятие и активное блокирование вредоносных действий. Совместный релиз лаборатории AI Security Ant Group и Университета Цинхуа открывает доступ к этой передовой защитной технологии для разработчиков по всему миру, способствуя повышению общего уровня безопасности экосистемы автономных агентов.
Основные защитные возможности ClawAegis охватывают несколько аспектов. На стороне ввода он способен в реальном времени распознавать внедрение вредоносных команд и подмену намерений, предотвращая «гипноз» модели или выполнение непредусмотренных операций под влиянием. На стороне выполнения, когда агент готов выполнить чувствительную операцию, ClawAegis динамически вмешивается, проводя проверку прав и аудит действий, гарантируя, что каждое критическое действие соответствует предустановленным политикам безопасности. Кроме того, для решения возможных проблем автономных агентов, таких как бесконечные циклы или злоупотребление ресурсами, ClawAegis предоставляет механизм прерывания, способный своевременно остановить операцию в аномальной ситуации, обеспечивая стабильность хост-машины и безопасность ресурсов. Сочетание этих возможностей позволяет ClawAegis охватывать полный цикл работы агента: от получения команды и внутреннего рассуждения до внешнего выполнения.
Данный релиз с открытым исходным кодом является результатом глубокого сотрудничества Ant Group и Университета Цинхуа в области безопасности ИИ. Лаборатория AI Security Ant Group накопила обширный практический опыт в области безопасности бизнеса, конфиденциальности данных и безопасности моделей, в то время как Университет Цинхуа обладает глубокими знаниями в области передовых исследований безопасности и академических инноваций. Совместно открытый ими ClawAegis предоставляет отрасли практичное и масштабируемое решение безопасности для автономных агентов. По мере распространения агентов ИИ в таких сценариях, как офисная работа, покупки и разработка, нативные механизмы безопасности, подобные ClawAegis, станут необходимым компонентом для обеспечения надежной работы агентов. В будущем ClawAegis, вероятно, будет продолжать развиваться благодаря вкладу сообщества, охватывая больше типов фреймворков автономных агентов и способствуя эволюции безопасности ИИ от «заплаток постфактум» к «внутреннему иммунитету».
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
