Fork me on GitHub

随笔分类 -  ELK

使用docker搭建elk
摘要：mkdir -p /mydata/elasticsearch/config mkdir -p /mydata/elasticsearch/data echo "http.host: 0.0.0.0">>/mydata/elasticsearch/config/elasticsearch.yml do 阅读全文
posted @ 2020-03-12 18:39 迁梦余光 阅读(256) 评论(0) 推荐(0)
elasticsearch为什么检索快？
摘要：如何快速检索？ https://www.infoq.cn/article/database-timestamp-02/?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk 阅读全文
posted @ 2020-02-17 22:25 迁梦余光 阅读(535) 评论(0) 推荐(0)
grok表达式
摘要：grok表达式 grok其实就是封装了各种常用的正则表达式，屏蔽了直接写正则的复杂性；通过它可以提取日志内容，按照自己指定的格式输出到kibana. http://udn.yyuap.com/doc/logstash-best-practice-cn/filter/grok.html http:// 阅读全文
posted @ 2017-06-06 22:13 迁梦余光 阅读(286) 评论(0) 推荐(0)
Filebeat+ELK
摘要：Filebeat+ELK filebeat是logstash的升级版，从功能上来说肯定不如logstash，但是logstah比较耗费资源； filebeat安装 暂时依托于window系统 下载filebeat-5.4.0-windows-x86_64.zip 拷贝到指定目录 以管理员身份运行cm 阅读全文
posted @ 2017-05-26 19:42 迁梦余光 阅读(809) 评论(0) 推荐(0)
ES mapping映射及优化
摘要：mapping映射 主要类型： 同一index下，不同type中如果有相同filed；es进行mapping映射的时候，按照先写进去的指定类型；比如同一index，包含的type中都有key1字段，如果第一次写进去的是long类型，后面所有type中key1字段都按照long类型格式化。 neste 阅读全文
posted @ 2017-05-20 22:29 迁梦余光 阅读(4996) 评论(0) 推荐(0)
kibana 查询语法
摘要：根据某个字段查询 精确匹配： agent:"Mozilla/5.0" 如果不带双引号，只要包含指定值就可以搜索到 agent:Mozilla/5.0 如果是数值类型没有以上区别 如果不带双引号，只要包含指定值就可以搜索到 agent:Mozilla/5.0 如果是数值类型没有以上区别 数组范围查询 阅读全文
posted @ 2017-05-16 15:35 迁梦余光 阅读(4839) 评论(0) 推荐(0)
ES中DSL查询相关
摘要：elasticsearch中的API：http://www.cnblogs.com/yjf512/p/4862992.html elasticsearch查询系列：http://blog.csdn.net/dm_vincent/article/category/2718099 ElasticSear 阅读全文
posted @ 2017-05-16 13:28 迁梦余光 阅读(262) 评论(0) 推荐(0)
ES通过API调整设置
摘要：1、查询es的设置信息 2、查询单个索引的设置 3、设置复制集为0 阅读全文
posted @ 2017-05-15 17:35 迁梦余光 阅读(300) 评论(0) 推荐(0)
ElasticSearch架构思考(转)
摘要：一个ElasticSearch集群需要多少个节点很难用一种明确的方式回答，但是，我们可以将问题细化成一下几个，以便帮助我们更好的了解，如何去设计ElasticSearch节点的数目： 一个集群解决所有问题？ 需要回答的问题远不止以上这些，但是第五个问题往往是容易被我们忽视的，因为单个ElasticS 阅读全文
posted @ 2017-05-14 18:57 迁梦余光 阅读(225) 评论(0) 推荐(0)
Elasticsearch集群UNASSIGNED
摘要：Elasticsearch集群UNASSIGNED http://shineforever.blog.51cto.com/1429204/1859734 http://www.searchtech.pro/elasticsearch-manual-allocate-shard http://www. 阅读全文
posted @ 2017-05-12 13:50 迁梦余光 阅读(331) 评论(0) 推荐(0)
mongo-connector导入数据到Es
摘要：要求 基于mongo-connector同步数据，必须要求mongodb为复制集架构，原因是此插件是基于oplog操作记录进行数据同步的；而oplog可以说是Mongodb Replication的纽带。具体参见： http://www.mongoing.com/oplog 启动复制集: ./bin 阅读全文
posted @ 2017-05-12 11:32 迁梦余光 阅读(702) 评论(0) 推荐(0)
LogStash 日志搜集
摘要：安装 下载：https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz 解压到指定目录即可 配置 bin目录添加logstash.conf input { file { path => "E:/software/ELK/lo 阅读全文
posted @ 2017-05-09 14:32 迁梦余光 阅读(498) 评论(0) 推荐(0)
Elasticsearch 集群搭建
摘要：1、安装JDK，配置环境变量 JAVA_HOME： 指向安装目录 CLASSPATH ： .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar 系统变量→寻找 Path 变量→编辑 在变量值最后输入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\b 阅读全文
posted @ 2017-05-08 12:35 迁梦余光 阅读(174) 评论(0) 推荐(0)