Репортаж от Wedoany，Британский цифровой банк Monzo перепроектировал своё хранилище данных, применив «сетевой» подход, что позволило снизить затраты на хранение примерно на 40% и ускорить доставку данных примерно на 25%. Ранее банк сталкивался со сложной ситуацией, когда более 100 команд обрабатывали свыше 12 000 моделей dbt.
За последний год Monzo перестроил платформу данных на основе определённых уровней моделирования, чётко объявив интерфейсные модели для кросс-командных зависимостей данных и принудительно проверяя структуру, именование и шаблоны доступа через непрерывную интеграцию (CI). Эта миграция затронула тысячи моделей dbt и привела к внедрению сотен управляемых интерфейсов, что сократило избыточные запросы и дублирующиеся вычисления, улучшило время загрузки данных и обратило вспять тенденцию роста затрат на хранилище. Каждая команда владеет и поддерживает свои собственные модели данных, а Monzo поддерживает распределённое владение с помощью автоматизированных барьеров и общих инструментов. Инженеры-аналитики Monzo Антония Бадарау, Ирина Магфорд и Массимо Франджаморе отмечают, что такое распределённое владение, хотя и мощное, трудно правильно реализовать в масштабе, особенно когда AI-ассистированное кодирование становится нормой, а обеспечение эффективности, согласованности и высокого качества результатов становится вызовом.
Модели dbt — это SQL-запросы, преобразующие необработанные данные в структурированные наборы данных, спроектированные как модульные, многократно используемые компоненты для построения и обслуживания конвейеров данных. Monzo определил три принципа для своей архитектуры данных: принудительное соблюдение чётких стандартов, нормализация обмена данными через явные интерфейсы и зависимость от автоматизации и проверок CI для обеспечения качества, а не от ручного рецензирования. Банк разделил модели данных на четыре уровня: автоматизированные модели приёма (сглаживание необработанных событий), генерируемые нормализованные модели (представление сущностей с полной историей), логические модели (объединение сущностей с бизнес-логикой) и модели представления, настраиваемые для конкретных downstream-целей.
Команды обеспечивают согласованность с помощью инструмента командной строки Modelgen (генерирующего SQL и YAML-модели из определений объектов) и стандартов данных, поддерживаемых через CI (проверка структуры, соглашений и лучших практик). Технический директор Monzo Bank Люк Бриско отметил, что масштабирование данных в любой быстрорастущей организации непросто, особенно для банка, и, насколько ему известно, немногие компании используют подобные инструменты. Основатель Expeditious Software Матеуш Улас прокомментировал, что отношение к интерфейсам данных как к первоклассному коду всё ещё крайне редко; большинство мест полагаются на документацию и надеются на лучшее, а интеграция стандартов в CI позволяет добиться улучшений.
Чёткие уровни данных, стабильные интерфейсы между наборами данных и автоматизированные проверки в CI поддерживают согласованность системы, позволяя командам работать независимо, одновременно снижая затраты на хранилище и время обработки. Monzo принудительно обеспечивает качество и согласованность данных, требуя, чтобы каждая модель определяла уникальный ключ, включала тесты на свежесть, по умолчанию выполнялась инкрементально, объявляла принадлежность к команде, предоставляла документацию и следовала строгим соглашениям по именованию и метаданным, проверяемым через CI.
Бадарау, Магфорд и Франджаморе добавили, что общебанковская миграция продолжается, выполнено около 30%, и предварительные результаты обнадёживают: в некоторых областях наблюдается снижение затрат примерно на 40% и ускорение времени загрузки данных примерно на 25%.
В другой статье инженерная команда Monzo описала, как они использовали многозадачную нейронную сеть для изучения общих представлений шаблонов мошенничества, что улучшило обнаружение редких и ранее не встречавшихся действий, превзойдя возможности традиционных моделей. На конференции QCon London в этом году Сухайл Патель продемонстрировал, как Monzo построил платформу для разработчиков, способную ежедневно отправлять сотни изменений в производственную среду.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
