Репортаж от Wedoany，По мере перехода генеративного искусственного интеллекта (ИИ) от этапа экспериментальной проверки (PoC) к реальной эксплуатации сервисов, задачи, стоящие перед компаниями, расширились от повышения производительности моделей до необходимости управления контентом и поведением, генерируемым ИИ. В условиях всеобъемлющего проникновения ИИ в бизнес и сервисы, ошибочные ответы, проблемы безопасности и неожиданные сбои напрямую превращаются в корпоративные риски, что делает «наблюдаемость LLM» (Observability) новой темой в корпоративной ИТ-сфере.
Руководитель команды приложений WhaTap Labs Ко Джи Хун и разработчик Шин Мин Чхоль в видеоинтервью с ZDNet Korea 26-го числа подчеркнули изменения, с которыми компаниям необходимо справляться в эпоху генеративного ИИ, и важность наблюдаемости LLM. Ко Джи Хун отметил, что, даже если ответ предоставлен ИИ, клиенты в конечном итоге будут рассматривать его как официальную информацию компании, поэтому на этапе эксплуатации сервисов ИИ необходима система для постоянного управления качеством и надежностью ответов.
Пример канадской авиакомпании Air Canada показывает, что компании должны нести ответственность за ответы ИИ. Чат-бот этой компании сообщил клиенту о несуществующем товаре со скидкой; клиент приобрел билет на основе этой информации, а при попытке получить скидку получил отказ, что привело к судебному разбирательству. Канадский суд постановил, что, даже если ответ исходил от ИИ, ответственность за опубликованную информацию лежит на компании; Air Canada проиграла дело и понесла финансовые потери и ущерб репутации. Шин Мин Чхоль указал, что случаи, когда ответы ИИ-чат-ботов рассматриваются как официальная позиция компании, происходят часто, и одна единственная ошибочная реакция может напрямую привести к финансовым потерям и снижению доверия к бренду.
Ко Джи Хун добавил, что по состоянию на прошлый год большинство компаний все еще находились на уровне пилотного применения ИИ, но с этого года, особенно в финансовом, государственном и корпоративном секторах, количество случаев практического применения в сервисах быстро растет. Однако многие компании запускают сервисы, не имея системы мониторинга качества ответов.
Существующие средства мониторинга с трудом выявляют ошибки в ответах ИИ. Даже если показатели серверов и сети в норме, при выдаче ИИ ошибочного ответа об этом невозможно узнать. Ко Джи Хун отметил, что компании могут столкнуться с новой проблемой, когда загрузка ЦП и память в норме, но количество жалоб клиентов резко возрастает; мониторинг только инфраструктуры не позволяет уловить аномалии в качестве ответов. В то же время угрозы безопасности также эволюционируют в новых формах. С развитием способности ИИ-агентов выполнять код и управлять системами, атаки «инъекции подсказок» (Prompt Injection), направленные на выполнение ИИ непредусмотренных действий с помощью вредоносного ввода, стали реальностью. В ходе внутренних экспериментов WhaTap Labs также сталкивалась с инцидентом, когда без вредоносного ввода из-за ошибочного решения ИИ была полностью удалена папка на ПК разработчика. Шин Мин Чхоль объяснил, что LLM превратились из инструментов, ограниченных генерацией текста, в агентов, способных к вызову функций, выполнению кода и управлению внешними системами; один ввод подсказки может быть напрямую связан с реальными системными операциями.
Для решения вышеуказанных проблем WhaTap Labs представила решение для наблюдаемости LLM. Это решение проводит корреляционный анализ всего процесса — от использования ресурсов GPU до производительности приложений и качества ответов ИИ, обеспечивая единое управление ошибками и сбоями, возникающими в среде эксплуатации сервисов. Основные контролируемые показатели включают: адекватность и точность ответов ИИ, галлюцинации (Hallucination, то есть выдумывание ИИ несуществующей информации), атаки с инъекцией подсказок, наличие персональных данных, ненужные пути обхода ответов, а также эффективность использования токенов и ресурсов GPU. Это решение особенно подходит для отечественных финансовых и государственных учреждений, которые по соображениям безопасности не могут использовать внешние сервисы ИИ и самостоятельно строят модели на базе GPU. Как поясняется, в среде с собственными моделями на GPU токены, используемые для ответов ИИ, напрямую связаны с ресурсами GPU; оптимизация путей ответов позволяет одновременно повысить производительность обработки и экономическую эффективность. Шин Мин Чхоль подчеркнул, что компании, эксплуатирующие сервисы ИИ, должны иметь систему для мониторинга всего — от качества ответов до угроз безопасности — на единой платформе; это является ключевой инфраструктурой для поддержания доверия к сервису. Ко Джи Хун, в свою очередь, спрогнозировал, что в будущем роль оператора сместится от непосредственного анализа данных к проектированию защитных барьеров для безопасной работы ИИ, а система, объединяющая мониторинг инфраструктуры, приложений и моделей ИИ, будет определять конкурентоспособность компании.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
