Репортаж от Wedoany，8 июля американская компания Cloudflare, предоставляющая облачные услуги и сетевую инфраструктуру, совместно с американской компанией в сфере искусственного интеллекта OpenAI запустили исследовательский пилотный проект. Цель проекта — изучить, как данные инсайтов от сайтов-участников в глобальной сети Cloudflare могут помочь AI-поисковым системам более эффективно обнаруживать, сканировать и индексировать контент открытой сети. Проект ориентирован на точность и актуальность ответов AI, а ключевыми сигналами являются свежесть контента, качество трафика и фактические изменения на страницах.
Ключевое отличие AI-поиска от традиционного заключается в том, что результаты представляются не в виде ссылок на веб-страницы, а в виде ответов, сгенерированных моделью. На то, сможет ли AI-система своевременно получить более точную информацию с веб-страниц, влияют такие факторы, как обновление страницы, реальное изменение содержимого, аномалии трафика и сохранение ценности контента сайта для цитирования. Cloudflare предоставляет не сам контент веб-страниц, а сигналы реального времени с сетевого и сайтового уровней, которые помогают AI-системе определять, какие страницы более ценны для сканирования, когда их следует пересканировать и как сократить неэффективную индексацию.
Глобальная сеть Cloudflare охватывает более 20% веб-сайтов, что позволяет ей наблюдать за массовыми обновлениями страниц и поведением посетителей. OpenAI, в свою очередь, предоставляет модели, поисковую систему и систему вопросов-ответов для тестирования эффективности сканирования и индексации на основе сигналов с использованием реальных пользовательских запросов.
Техническое направление пилотного проекта — «сканирование на основе сигналов». Традиционные краулеры обычно сканируют веб-страницы с фиксированной частотой, на основе карт сайта, обнаружения ссылок или исторического веса, что приводит к двум типам проблем: во-первых, страница уже обновлена, но индекс AI не обновляется своевременно, что приводит к устаревшим ответам; во-вторых, страница не претерпела существенных изменений, но сканируется повторно, что расходует ресурсы и увеличивает нагрузку на сайт. Внедрение сигналов реального времени от Cloudflare позволяет AI-поисковой системе корректировать приоритеты сканирования на основе изменений контента, качества доступа и состояния страницы.
Свежесть контента является одним из ключевых параметров. Частота изменений новостей, объявлений, страниц продуктов, страниц цен, политических документов, технической документации и блогов различается. Если AI-поиск не может определить, действительно ли страница обновлена, он может повторно обрабатывать старый контент или пропускать новую информацию. Сигнал фактических изменений на странице помогает системе выявлять изменения на уровне контента, а не полагаться только на наличие URL, изменение временной метки или отправку данных сайтом для принятия решения о необходимости переиндексации.
Качество трафика больше связано с оценкой доверия к веб-странице и состояния доступа. Аномальный трафик, низкокачественные посещения, недействительные запросы, бот-активность и временные колебания страниц могут помешать AI-системе оценить ценность веб-страницы. После внедрения сетевых сигналов Cloudflare в пилотный проект OpenAI может протестировать, помогают ли эти сигналы улучшить фильтрацию страниц, ритм сканирования и качество генерации ответов.
Этот проект также связан с управлением AI-краулерами. Ранее Cloudflare уже запустила инструменты для владельцев сайтов, связанные с контролем AI-краулеров, сигналами контента и правами доступа, позволяя сайтам более детально выражать свои предпочтения в отношении индексации поиска, ввода данных AI и обучения моделей. Нынешний пилотный проект с OpenAI больше направлен на то, «как сделать обнаруживаемый контент более эффективно доступным для AI-поиска», а не на то, чтобы AI-система без разбора расширяла масштабы сканирования.
В настоящее время проект находится на стадии исследовательского пилотирования, основное внимание уделяется проверке того, могут ли сигналы сети реального времени повысить эффективность индексации AI-поиска. Тестирование будет сосредоточено на таких аспектах, как приоритет сканирования, распознавание изменений страниц, скорость обновления индекса, сокращение малополезного сканирования, актуальность ответов и способность обнаружения контента в открытой сети. Cloudflare и OpenAI в дальнейшем продолжат тестирование, касающееся круга сайтов-участников, границ использования сигналов, прав на контент, контроля со стороны сайтов и качества результатов AI-поиска.
