Американская компания Cloudflare запустила унифицированную платформу данных, на долю биллинговых запросов приходится 53%

Репортаж от Wedoany，Компания Cloudflare представила последние сведения о применении своей внутренней унифицированной платформы данных Town Lake, на долю биллинговых рабочих нагрузок которой приходится 53% всех запросов. Платформа оснащена AI-агентом анализа под названием Skipper, предназначенным для объединения ранее разрозненных операционных, биллинговых, безопасностных и бизнес-данных из различных систем.

Глобальная сеть Cloudflare обрабатывает более миллиарда событий в секунду, охватывая более 330 городов в 120 странах. Со временем данные накапливались в базах данных Postgres, кластерах ClickHouse, потоках Kafka, наборах данных BigQuery и объектных системах хранения, что усложняло их обнаружение и анализ. Town Lake выступает в качестве унифицированного SQL-интерфейса для доступа к этим системам, сохраняя при этом возможности управления данными и контроля доступа.

Платформа основана на архитектуре Lakehouse и использует Apache Trino, Apache Iceberg, объектное хранилище Cloudflare R2 и DataHub для управления метаданными. Один запрос может соединять данные из таблиц Postgres, ClickHouse и Iceberg без необходимости перемещения данных между системами. Служба поддержки отвечает за прием данных, их преобразование, контроль доступа и идентификацию личной информации (PII).

Платформа использует модель управления, закрытую по умолчанию: вновь подключаемые наборы данных проходят автоматическое сканирование и ручную проверку перед предоставлением доступа. Cloudflare использует сервис под названием Skimmer, который сочетает автоматическую классификацию с AI-анализом для обнаружения конфиденциальных данных, после чего ручные рецензенты проверяют соответствие классификации.

На базе Town Lake компания Cloudflare создала Skipper для обеспечения доступа к корпоративным данным на естественном языке. Этот агент использует метаданные, определения схем, историю преобразований, документацию и проверки во время выполнения для преобразования пользовательских запросов в проверенные запросы, повышая точность. Инструмент применяется для анализа счетов, опросов поддержки клиентов, бизнес-аналитики и рабочих процессов безопасности.

Руководитель корпоративной инженерии Cloudflare Дмитрий Алексеенко отметил, что команда создала унифицированную платформу данных Town Lake и AI-агента данных Skipper, который может преобразовывать вопросы на чистом английском языке в инсайты за несколько секунд.

Задачи, ранее требовавшие сложных SQL-запросов или ручного исследования, теперь могут быть выполнены за секунды с помощью унифицированной платформы данных и AI-агента. Биллинговые рабочие нагрузки составляют большую часть использования Town Lake. За один измерительный период платформа обработала 91 760 запросов, связанных с биллингом, от 324 сотрудников, охватывая анализ счетов, опросы поддержки и операционные отчеты. Компания также обнаружила, что упрощение подсказок AI-агента повысило точность, а объединение пересекающихся инструментов уменьшило количество ошибочных выборов. Включение логики преобразования SQL и истории данных в контекст агента дополнительно улучшило понимание бизнес-семантики.

Генеральный директор Rippletide Патрик Жубер прокомментировал, что после размещения внутреннего AI-агента поверх унифицированной аналитической платформы, если агент может рассуждать об операционных данных, то выполнение должно происходить близко к операционному уровню. Распределенные детерминированные проверки позволяют агенту действовать, не превращая платформу данных в неуправляемый операционный уровень.

Cloudflare планирует глубже интегрировать Skipper во внутренние чаты, системы обработки заявок и рабочие процессы разработки. Одновременно расширяется конвейер Transformer, позволяя командам определять курируемые наборы данных с помощью SQL и файлов метаданных, которые автоматически развертываются, мониторятся, каталогизируются и отображаются через DataHub и Skipper. Компания также ожидает, что в будущем больше рабочих нагрузок Town Lake будет перенесено на R2 SQL.