Репортаж от Wedoany，Компания Microsoft на основе своей «Таксономии режимов сбоев в агентных системах ИИ» (Taxonomy of Failure Modes in Agentic AI Systems), впервые опубликованной в прошлом году, выявила семь новых типов сбоев в агентных системах ИИ.
Существует четыре основные причины увеличения числа сбоев в агентных ИИ: ускорение внедрения технологии в массовое использование, созревание экосистемы протокола контекста модели (Model Context Protocol, MCP), рост числа агентов, использующих компьютер (computer-use agents), и накопление эмпирических данных по мере получения исследователями новых практических результатов.
Семь новых типов сбоев включают: компрометацию агентной цепочки поставок (Agentic Supply Chain Compromise) — когда на действия агента может влиять естественный язык, а не вредоносный код; перехват цели (Goal Hijacking) — когда противостоящие инструкции внешне соответствуют легитимной задаче, но скрыто перенаправляют конечную цель агента; эскалацию доверия между агентами (Inter-Agent Trust Escalation) — когда скомпрометированный агент заявляет оркестратору (orchestrator) ложную идентичность или завышенные полномочия; визуальную атаку на агента, использующего компьютер (Computer Use Agent (CUA) Visual Attack) — когда агент, работающий через графический интерфейс, может быть манипулирован контентом, содержащим противостоящие инструкции; загрязнение контекста сессии (Session Context Contamination) — когда противник вводит данные, которые на последующих шагах искажают рассуждения агента, не вызывая срабатывания средств безопасности на каком-либо отдельном шаге; злоупотребление MCP/плагинами (MCP / Plugin Abuse) — обновление, касающееся скомпрометированных функций в исходной таксономии для протоколов MCP и плагинов, особенно их уникальных поверхностей атак; утечку возможностей/архитектуры (Capability / Architecture Disclosure) — когда агент раскрывает внутренние детали реализации, такие как названия и схемы инструментов, структуру системных подсказок, интерфейсы памяти или логику триггеров согласия/человека в цикле.
Microsoft рекомендует командам безопасности использовать эти определения режимов сбоев для руководства при планировании, инвентаризации цепочек поставок, формировании спецификаций программного обеспечения (SBOM) для каждого развернутого агента, криптографической верификации личности агента (а не его местоположения) с помощью доказуемых учетных данных, выдаваемых при предоставлении полномочий, добавлении семи новых типов сбоев в матрицу покрытия «красной команды» и аудите пользовательского опыта «человек в цикле» как средства безопасности.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
