数据同步增量全量的区别

1.数据同步看数据量和增删改查的原因确定是否是增量同步还是全量同步

 

1.一般mongo表使用增量数据，因为我们业务数据mongo存储的内容较多，如果每天都使用使用全量的话，占用太大了（不区别etl_dt）

2.一般mysql表使用全量数据，因为mysql表极限在千万级别，所以删除和修改的操作更多一些，整体量级比mongo小，这样可以使用全量（每一个etl_dt，都是那一天之前所有的全量数据）

3.增量有etl_dt，比如埋点数据，只有新增，所以我们一般用增量同步，但是也有etl_dt，这样我们如果回溯之前的某段时间的埋点数据的话，

只需要取etl_dt在（20210901～20210902）之间新增的埋点数据即可，增加查询效率，因为埋点数据比较多。