Репортаж от Wedoany，Федеральное ведомство по информационной безопасности Германии (BSI, Bundesamt für Sicherheit in der Informationstechnik) совместно с Фраунгоферовским институтом оптики, системных технологий и анализа изображений (Fraunhofer IOSB) разработало метод обнаружения дипфейков под названием RealOrRender, предназначенный для выявления созданных ИИ поддельных изображений и обеспечения отслеживаемости процесса их обнаружения. В настоящее время реалистичность изображений и видео, созданных ИИ, постоянно повышается: крупные языковые модели уже способны отображать анатомически правильные конечности, реалистичные тени и даже имитировать сердцебиение, что усложняет различие между реальными съёмками и дипфейками. Планируемое ужесточение законодательства ЕС вряд ли сможет кардинально изменить эту ситуацию, поэтому технические решения становятся приоритетным направлением исследований.
BSI отмечает, что автоматизированные методы обнаружения обычно надёжно работают только в определённых условиях. В связи с этим BSI совместно с Fraunhofer IOSB разработало метод RealOrRender. Этот метод использует двухэтапный процесс: сначала входное изображение реконструируется с помощью генератора изображений ИИ, затем классифицируется с помощью модели ИИ и вычисляется ошибка реконструкции. Старший научный сотрудник исследовательской группы видеоассистированной безопасности и вспомогательных систем Fraunhofer IOSB Андреас Шпекер пояснил, что этот процесс позволяет определить, является ли изображение дипфейком.
Конкретный механизм RealOrRender заключается в следующем: после получения изображения система использует предварительно обученную диффузионную модель для обратной обработки, создавая математический отпечаток (шумовую карту) изображения, а также результат реконструкции, то есть намеренную повторную подделку исходного изображения. Затем система сканирует изображение на наличие ошибок. Логика метода такова: если исходное изображение является дипфейком, его математический отпечаток будет схож с результатом реконструкции RealOrRender; если это реальная фотография, то возникнет больше ошибок реконструкции, поскольку реальные фотографии содержат больше неточностей и естественного шума. Система, используя обучающий набор данных, содержащий около 120 000 изображений из 18 генераторов изображений, вычисляет предполагаемое отклонение и даёт оценку, является ли изображение дипфейком. По словам исследователей, точность обнаружения составляет от 85% до 91%.
RealOrRender также включает компонент объяснимого ИИ (XAI, explainable AI), который по завершении анализа генерирует тепловую карту, отмечающую детали исходного изображения, указывающие на подделку, включая черты лица, волосы, руки и объекты на фоне. Это помогает пользователям понять, какие признаки дипфейка обнаружила система, и повышает доверие к модели и результатам. Сообщается, что RealOrRender уже используется внутри BSI в виде демонстратора.
