Репортаж от Wedoany，Поставщик распределенной PostgreSQL pgEdge выпустил бета-версию ColdFront — нативную для PostgreSQL архитектуру разделения горячих и холодных данных, предназначенную для автоматического переноса устаревших данных в объектное хранилище Apache Iceberg, при этом PostgreSQL остается единственной базой данных, с которой взаимодействует приложение.
На протяжении многих лет предприятия обычно раздельно обслуживали системы оперативной обработки транзакций (OLTP) и аналитической обработки (OLAP), даже если это означало необходимость перемещения данных между ними. Рост автономных агентов и AI-приложений, требующих мгновенного доступа к данным и генерирующих огромные объемы операционных данных, выявил затраты и сложность поддержания изолированных систем. Отрасль быстро отреагировала: поставщики хранилищ данных и баз данных предложили различные методы устранения разрозненности данных. За последние несколько недель Databricks запустила LTAP, EDB представила Fusion Analytics, а в конце прошлого года Snowflake выпустила pg_lake — все эти решения предлагают разные пути интеграции транзакционных, аналитических и AI-нагрузок.
ColdFront от pgEdge использует разделение горячих и холодных данных, где «горячие» и «холодные» относятся соответственно к более новым и более старым данным. По словам сооснователя pgEdge Филлипа Меррика (Phillip Merrick), запросы к недавним данным по-прежнему выполняются на PostgreSQL, а запросы к более старым записям прозрачно обрабатываются через встроенный аналитический движок DuckDB, что позволяет приложениям использовать тот же SQL без необходимости внедрения ETL-конвейеров, отдельных путей запросов или изменений в приложении. Более старые записи, хранящиеся в Iceberg, также можно обновлять через PostgreSQL, реализуя то, что Меррик называет «холодным записываемым слоем».
Исполнительный руководитель исследований HFS Research Ашиш Чатурведи (Ashish Chaturvedi) отметил, что ColdFront рассматривает Iceberg исключительно как прозрачный слой хранения за PostgreSQL, автоматически перемещая более старые данные из базы данных, позволяя приложениям использовать те же таблицы и SQL. Для сравнения, LTAP от Databricks подключает операционные приложения к озеру данных, EDB использует PostgreSQL как источник операционных данных и предоставляет данные через Iceberg, а pg_lake от Snowflake напрямую записывает данные PostgreSQL в Iceberg, позволяя как PostgreSQL, так и Snowflake запрашивать одни и те же данные.
Главный аналитик IT-консалтинговой компании Kanerika Амит Чандак (Amit Chandak) отметил, что предприятиям необходимо хранить исторические операционные данные, генерируемые AI-приложениями, для целей аудита и регулирования, поэтому возможность исправлять, удалять или изменять записи после перемещения данных в более дешевое хранилище имеет решающее значение для соблюдения законов о защите данных и конфиденциальности. Чатурведи сказал, что ColdFront может упростить этот процесс: «В большинстве систем разделения холодные данные доступны только для чтения, и запросы на удаление в соответствии с GDPR требуют восстановления, удаления и повторной архивации, что занимает полдня; ColdFront позволяет обновлять и удалять строки архивированных данных с помощью одного SQL-оператора UPDATE и DELETE». Исследователь-консультант Info-Tech Research Group Игорь Иконников отметил, что для предприятий в сфере финансов, здравоохранения и государственного управления, которые хотят хранить конфиденциальные операционные данные на контролируемой клиентом инфраструктуре, сохраняя при этом возможность изменять исторические записи, архитектура ColdFront особенно важна.
Иконников указал, что все решения полагаются на DuckDB: «ColdFront использует DuckDB для выполнения запросов к данным в Iceberg, pg_lake от Snowflake маршрутизирует запросы к Iceberg через pgduck_server, а Lakebase от Databricks также внутренне зависит от DuckDB. DuckDB становится фактическим стандартом встроенного аналитического движка для архитектур нового поколения PostgreSQL-Iceberg». Такая зависимость создает концентрированный риск: если DuckDB столкнется с изменениями лицензии, уязвимостями безопасности или узкими местами производительности, это затронет множество продуктов. Поэтому ИТ-директорам следует понимать уровень зрелости и дорожную карту этих общих компонентов.
Главный аналитик Moor Insights & Strategy Майкл Леон (Michael Leone) считает, что у большинства предприятий уже есть устоявшаяся архитектура данных, и ИТ-директорам следует оценивать эти платформы на основе того, где находятся их данные, разработчики и рабочие процессы. Он рекомендует предприятиям в первую очередь стандартизировать Iceberg, поскольку все четыре архитектуры поддерживают открытый табличный формат, что позволяет предприятиям сохранять гибкость и в будущем заменять фронтальную базу данных или аналитическую платформу без переноса базовых данных. Иконников предупредил, что существуют проблемы с управлением каталогами Iceberg: четыре метода используют разные каталоги, а вопросы совместимости между поставщиками еще не решены. Когда агентам из разных систем необходимо запрашивать одни и те же таблицы Iceberg, федерация каталогов становится реальной проблемой.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
