csonezp

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2016年5月13日

摘要: 在上一篇中简略的说了一下es同步数据脚本的大致情况,但是实际情况里肯定不会像上一篇里面的脚本那么简单。比如目前我就有三张表,两张实体表,一张关联表。大致实现如下: bin目录建立一个statefile.json文件: 主要是lastexecutionstart设置为0,为了让第一次执行能进行一次全量 阅读全文
posted @ 2016-05-13 17:41 csonezp 阅读(1046) 评论(0) 推荐(0) 编辑

摘要: 主要用到了一个 JDBC importer for Elasticsearch的库。 想要增量同步,有一些先决条件。首先数据库中要维护一个update_time的时间戳,这个字段表示了该记录的最后更新时间。然后用上面的那个库,定时执行一个任务,这个任务中执行的sql就是根据时间戳判断该记录是否应该被 阅读全文
posted @ 2016-05-13 14:36 csonezp 阅读(3942) 评论(0) 推荐(0) 编辑