让我们了解如何使用 Apache Hudi 来实现这种 SCD-2 表设计。 Apache Hudi 是下一代流数据湖平台。Apache Hudi 将核心仓库和数据库功能直接引入数据湖。 结论 随着我们持续使用 Apache Hudi 编写 Spark 应用程序,我们将继续改进加载数据的策略,上述尝试只是用 Hudi 实现 SCD-2 功能的一个开始。
apiVersion: v1 kind: Pod metadata: name: scd-2 spec: securityContext: runAsUser: 1000 containers : - name: scd-2 image: nginx:latest imagePullPolicy: IfNotPresent securityContext:
5.更新和删除 支持合并、更新和删除操作,以启用诸如更改-数据-捕获、缓慢更改-维(SCD-2)操作等复杂用例。 6.高扩展性 Scale存储和处理分离,也适用于云架构。