随笔分类 -  大数据

摘要:从ES分页查询数据实例代码(JAVA) 最近做的项目中,为了减轻数据库的压力,许多查询接口都改为走ES去查,而不是直接查MySQL。 当然不是所有的查询都要走ES,还是根据你的业务来,对实时性要求不高的,可以走ES查,如果实时性要求很高,还是建议走MySQL去查。 我的项目工程是SpringBoot 阅读全文
posted @ 2020-09-10 15:15 gaopengpy
摘要:最近在做的项目中,需要将MySQL中的数据通过logstash同步至elasticsearch,但是同步后发现es中的文档时间字段不对了,统统比实际时间提前8小时。 查了资料发现,这是由于logstash在获取时区的时候,默认获取的是UTC默认时间,同时elasticsearch在创建索引的时候,统 阅读全文
posted @ 2020-08-21 18:09 gaopengpy
摘要:今天用logstash同步MySql数据到es,某表的时间字段比如create_time或者update_time,在es中比该字段均比mysql中晚5个小时。 百度一下"logstash 时间差", 几乎全部是差8个小时的,而且是es中的时间比mysql中的时间早8个小时。 后来看了看logsta 阅读全文
posted @ 2020-08-21 15:43 gaopengpy
摘要:Kibana的安装非常简单 解压tar包: tar zxf kibana-6.8.4-linux-x64.tar.gz 配置很简单,修改配置文件config/kibana.yml里的以下信息即可 1 vi config/kibana.yml 2 server.port: 5601 #服务端口 3 s 阅读全文
posted @ 2020-06-05 18:18 gaopengpy