Американская компания Cloudflare с 15 сентября вводит новые правила доступа для AI-краулеров

Репортаж от Wedoany，Cloudflare запускает новые средства управления трафиком AI-краулеров, позволяющие владельцам сайтов определять политику доступа автоматизированных программ к своему контенту по трём категориям функций: поиск, прокси и обучение. Эта функция уже доступна всем клиентам Cloudflare, включая пользователей бесплатного тарифа.

Владельцы контента стремятся защитить результаты своего творчества и получить за них справедливое вознаграждение. По словам менеджера по продуктам Cloudflare Джин-Хи Ли и директора по продуктам Брайана Беккера, полная блокировка контента не является универсальным решением, и владельцам сайтов нужны более гибкие варианты, а не просто «блокировать все автоматизированные программы в любое время».

Компания расширила управление ботами, выйдя за рамки простого разрешения или блокировки. Теперь боты классифицируются не просто как AI или не-AI, а по их функциям на три категории: поиск, прокси и обучение. Владельцы сайтов могут применять разные стратегии для каждой категории.

Обновлённая структура учитывает, как боты используют контент после его скачивания, и стимулирует провайдеров использовать отдельные краулеры для разных функций, повышая прозрачность и возможности контроля доступа.

Начиная с 15 сентября 2026 года, изменятся настройки по умолчанию для новых доменов. На страницах, где отображается реклама, краулеры для обучения и прокси по умолчанию будут блокироваться, в то время как поисковые краулеры по умолчанию останутся разрешёнными.

Многоцелевые краулеры, выполняющие одновременно функции поиска и обучения, будут оцениваться по обеим стратегиям. Если сайт блокирует обучающие краулеры, то многоцелевые краулеры (такие как Googlebot, Applebot и BingBot) также будут заблокированы, даже если поисковые краулеры разрешены. Это изменение вступит в силу 15 сентября 2026 года. Владельцы сайтов, которые не хотят применять новые настройки по умолчанию, могут до 15 сентября отказаться от них через настройки безопасности, сохранив текущее поведение обучающих краулеров, выполняющих поисковые функции. Cloudflare заявляет, что уведомит клиентов об изменениях заранее, чтобы у них было время пересмотреть и обновить настройки.

Cloudflare также запустила BotBase — доступную для поиска базу данных известных ботов, включая верифицированных ботов и AI-агентов. Эта база данных предоставляет клиентам, управляющим ботами, централизованное представление на основе новой классификации Cloudflare, показывая классификацию и поведение верифицированных ботов. Администраторы могут использовать BotBase для просмотра каталога верифицированных ботов, поиска конкретных ботов, просмотра их классификации, фильтрации трафика по отдельным ботам и копирования идентификаторов обнаружения для использования в правилах безопасности. Компания планирует добавить больше функций управления позднее в этом году, чтобы клиентам было удобнее управлять автоматизированным трафиком из одного интерфейса.

В области контроля использования контента Cloudflare добавила три новых уровня для клиентов, управляющих ботами, позволяющих определить, как боты могут использовать контент после его скачивания: мгновенное (без хранения или повторного использования), цитирование (индексирование, создание краткого содержания и обратная ссылка) и полное (создание краткого содержания или воспроизведение). Компания расширяет формат Content Signals в robots.txt, добавляя новый параметр use для выражения этих предпочтений. Хотя robots.txt не обеспечивает принудительное применение этой настройки, Cloudflare будет сообщать через BotBase, соблюдают ли верифицированные боты заявленные предпочтения. Верифицированные боты, игнорирующие эти предпочтения или полностью воспроизводящие контент, могут потерять свой верифицированный статус. Ранее все верифицированные боты по умолчанию были разрешены. В новой модели верификация только подтверждает личность бота, а права доступа зависят от его классификации и политики владельца сайта, включая разрешение или блокировку поисковых, прокси- или обучающих краулеров. Cloudflare также планирует сделать процесс верификации более прозрачным и разрабатывает инструменты, помогающие операторам ботов управлять своей классификацией и верифицированным статусом.

Для AI-агентов и ботов, работающих через сторонние платформы, Cloudflare предлагает модель передаваемого доверия. Компания планирует использовать стандартный HTTP-заголовок Forwarded для идентификации исходного запрашивающего за посредником. Этот заголовок также может содержать заявленный оператором способ использования контента, например use=reference. Это позволит владельцам сайтов применять политики доверия и доступа на основе исходного оператора бота, а не посредника, обрабатывающего запрос. Компания признаёт, что этот метод может подходить не для всех случаев использования, особенно когда важны конфиденциальность или анонимный доступ.