数据同步策略

一、业务数据库里面的数据每天需要同步到我们的数据仓库里面。根据数据量的大小，数据的变化情况，可以分成以下几类： 1、全量表：存储完整的数据
2、增量表：存储新增加的数据
3、新增及变化表：存储新增加的数据和变化的数据
4、特殊表：只需要存储一次的数据 二、同步策略
全量同步策略： 每日全量，就是每天存储一份完整的数据，作为一个分区 适用于表中数据量很小，每天可能会有数据新增或者数据修改的情形。
增量同步策略： 每日增量，就是每天存储一份增量数据，，作为一个分区 适用于数据量大，每天都会向表中新增数据的场景（支付流水表）
新增和变化同步策略： 每日新增及变化，就是基于创建时间和操作时间都是今天的数据 适用于数据量大，每天不仅会新增数据，还会有历史数据发生变化（订单表，用户表） 该种情况最经常采用的是拉链表来解决，拉链表会有dp和dt两个分区，dp的值有ACTIVE和EXPIRED两个分区，ACTIVE代

数据同步策略最先出现在Python成神之路。