随笔分类 -  elasticsearch6

关于es的说明,使用经验和优化
摘要:在kibana 上,改下即可 PUT index/_settings { "index":{ "max_result_window":size } } 阅读全文
posted @ 2020-08-26 15:46 站在云端看世界 阅读(1027) 评论(0) 推荐(0)
摘要:首先下载包解压啥的就不说了 其次,要修改config目录下的jvm.options 将堆和栈的内存修改按照系统的大小调整,如果充足改为各30G最好 然后改 elasticsearch.yml 允许所有节点访问network.ip 0.0.0.0 修改数据目录和日志存放目录 然后再修改 /etc/sy 阅读全文
posted @ 2020-06-28 14:28 站在云端看世界 阅读(151) 评论(0) 推荐(0)
摘要:1.如果条件允许,内存和cpu一定要足够多,要超过总数据量的1半以上最好,当然数据量很大的时候要在经常查询数据的2倍以上。 2.数据分离存储,经常查询的数据放一些索引,不经常查询的放一部分索引,然后通过唯一的id关联即可,需要查那些不经常查的数据的时候通过id查询即可,这里可以和hbase联合使用。 阅读全文
posted @ 2019-11-29 11:17 站在云端看世界 阅读(2766) 评论(0) 推荐(0)
摘要:最近在做es集群的海量数据写入,公司的数据量比较大,日均增量达到了5亿+,有将近150G的数据,这对es来说,如果用默认的设置和常规的写入简直无法完成,哪怕写进去了,也是大量重复,数据丢失,基本写不进去。 es的写入方式有很多种,可以通过logstach直接写入,可以通过api接口写入,也可以通过s 阅读全文
posted @ 2019-08-15 15:25 站在云端看世界 阅读(4464) 评论(0) 推荐(0)