Репортаж от Wedoany，Компания pgEdge объявила о запуске pgEdge ColdFront — решения для прозрачного разделения данных для PostgreSQL. Это решение поддерживает прямое выполнение операций UPDATE и DELETE над архивными данными, позволяя приложениям читать и записывать данные холодного уровня с помощью того же SQL, что и для горячих данных, без изменения кода или повторной активации данных. Старые данные автоматически переносятся в формат Parquet в Apache Iceberg и хранятся в любом S3-совместимом объектном хранилище, что снижает стоимость хранения до 90%. Полный набор данных по-прежнему доступен для чтения и записи через единое имя таблицы PostgreSQL, а сканирование холодного уровня выполняется на аналитической скорости благодаря векторному столбцовому движку DuckDB.
Со временем производственные базы данных PostgreSQL сталкиваются с ростом затрат на хранение и операционной сложностью из-за исторических данных, включая накладные расходы на резервное копирование, вакуумирование и задержки репликации. Традиционные подходы включают удаление старых данных, архивирование в плоские файлы, нарушающие запросы, или использование проприетарных решений. pgEdge ColdFront устраняет эти компромиссы, автоматически перемещая холодные данные в дешевое объектное хранилище, сохраняя при этом полную возможность чтения и записи через стандартный интерфейс Postgres, причем каждый уровень хранится в открытом формате.
Пример сценария использования — запрос на удаление данных в соответствии с GDPR для пятилетних архивных данных. С ColdFront это выполняется одной SQL-командой, без необходимости цикла восстановления данных на горячий уровень, удаления, повторного архивирования и повторной проверки.
Филипп Меррик, главный директор по продуктам pgEdge, отметил, что решение устраняет опасения по поводу привязки к проприетарным поставщикам: приложения используют тот же SQL, DuckDB обеспечивает аналитическую скорость для холодных данных в рамках процесса, холодный уровень доступен для записи, и решение работает на стандартном, непатченном PostgreSQL.
Ключевые особенности ColdFront включают: единственный холодный уровень с возможностью прямой записи, поддерживающий UPDATE и DELETE через то же имя таблицы PostgreSQL без повторной активации или специальных путей; запуск DuckDB в процессе PostgreSQL, обеспечивающий производительность сканирования холодного уровня на основе данных Parquet в 10–100 раз быстрее, чем построчное хранение; отсутствие необходимости в изменениях кода или архитектуры приложений; использование открытых форматов на всех уровнях, причем холодные данные хранятся в стандартном Apache Iceberg (Parquet на S3) и могут независимо считываться такими инструментами, как Spark, Trino, DuckDB и другими.
Решение также включает встроенное управление жизненным циклом разделов с помощью единственного параметра конфигурации hot_period, управляющего рабочим набором горячих данных, и опционального параметра retention_period для автоматического удаления холодных данных через заданное время. В многомастер-кластерной среде холодные данные доступны для чтения и записи одновременно с каждого узла. С помощью многомастер-кластера Spock горячие данные реплицируются через Spock, холодные данные хранятся в общем объектном хранилище, а протокол Bakery (формально верифицированный в TLA+) сериализует коммиты Iceberg между узлами без конфликтов 409 и без необходимости повторных попыток на уровне приложения; в тестах на трех небольших узлах с 90 миллионами строк была достигнута производительность 756 000 строк в секунду.
Дэйв Пейдж, технический директор pgEdge, отметил, что решение автоматически управляет жизненным циклом данных, снижая стоимость хранения до 90%. Его инфраструктура данных поддерживает конвейеры ИИ и машинного обучения, превращая PostgreSQL в бессерверный вычислительный фронтенд на Iceberg с помощью развязанной архитектуры, что позволяет запускать новые вычислительные узлы за секунды без синхронизации данных.
pgEdge ColdFront предлагается в трех режимах работы: режим разделения (горячий + холодный), развязанный режим (только Iceberg) и режим только разделов (без холодного уровня). Продукт доступен в виде производственной бета-версии, поддерживающей PostgreSQL 16, 17 и 18 в одноэкземплярных и многомастер-топологиях Spock. ColdFront будет поставляться в составе pgEdge Enterprise Postgres, а интеграция в pgEdge Cloud запланирована на вторую половину 2026 года. Решение распространяется по лицензии PostgreSQL с открытым исходным кодом; документация и инструкции по установке доступны на указанном веб-сайте.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
