作者 | 郭炜过去十年,数据工程的主线,是 Modern Data Stack 对传统数仓体系的一次拆解与重组。我们把数据采集从数据库里拆出来,形成了 Data Ingestion,用 FiveTran、Airbyte、Apache SeaTunnel 来解决 ELT / CDC / Reverse ETL;把计算从存储里拆出来,形成了 Snowflake、Databricks、Iceberg、H ...
在构建实时数仓的过程中,如何快速、正确的同步业务数据是最先面临的问题,本文主要讨论一下如何使用实时处理引擎 Flink 和数据湖 Apache Iceberg 两种技术,来解决业务数据实时入湖相关的问题。 Flink CDC介绍 CDC 全称是 Change Data Capture,捕获变更数据,是一个 ...
Designed and integrated into SSIS, Attunity SQL Server -CDC for SSIS integrates SQL Server data efficiently and in real-time. Dramatically simplifying the creation of CDC solutions, accelerating ...