数据仓库实时数据同步方案

将postgresql中的数据实时同步到kafka中

https://www.cnblogs.com/cq-yangzhou/p/11549913.html

 

黄海的思路：

（1）看看其它人的概念：https://blog.csdn.net/dora_310/article/details/80511793

 

有的地区方案中也写了3秒之类的概念，就是说，这种数据同步，其实并没有我想像的那个实时，还是有一定的延迟的，再比如，我一次性插入了10W条数据，就算了一次性实时传递给客户端系统，它能不能一下子写进去还是一个重要问题，实时不管怎么说都是需要一定时长的，在给出的时候可以有3秒的时延，这对于我们来说足够了，因为我们的系统只需要把最新时间戳变更的数据提供即可。考虑到OLTP和OLAP的区别，这个数据同步的提供者是谁呢？

初步考虑用的是GreenPlum来提供，使用 Golang+GreenPlum