随笔分类 -  Elasticsearch

logstash 实现数据源分流
摘要：logstash + filebeat 将来源不同的数据分发到不同的地方 logstash配置文件：first-pipeline.conf 1 input { 2 beats { 3 port => 5044 4 } 5 } 6 filter { 7 if "backend" in [tag] { 阅读全文
posted @ 2020-07-27 11:26 第十一个程序员 阅读(622) 评论(0) 推荐(0)
Elasticsearch Mapping
摘要：1. Mapping（映射） Mapping 是定义文档及其包含的字段是如何存储和索引的过程 例如，我们用映射来定义： 哪些字符串字段应该被当做全文字段 哪些字段包含数字、日期或地理位置 是否应该将文档中所有字段的值索引到catch-all字段中 1.1. Mapping Type（映射类型） 每个 阅读全文
posted @ 2020-06-30 17:48 第十一个程序员 阅读(147) 评论(0) 推荐(0)
filebeat 模块与配置
摘要：1. 关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或 阅读全文
posted @ 2020-06-30 17:35 第十一个程序员 阅读(1461) 评论(0) 推荐(0)
kibana
摘要：https://www.elastic.co/guide/en/kibana/current/elasticsearch-metrics.html 来源：https://www.cnblogs.com/cjsblog/p/9476813.html 阅读全文
posted @ 2020-06-30 16:41 第十一个程序员 阅读(122) 评论(0) 推荐(0)
logstash
摘要：Logstash介绍 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 集中、转换和存储你的数据 Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后 阅读全文
posted @ 2020-06-30 16:25 第十一个程序员 阅读(317) 评论(0) 推荐(0)
filebeat
摘要：认识Beats Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。 （画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch） Beats对于收集数据非常有用。它们位于你 阅读全文
posted @ 2020-06-30 16:19 第十一个程序员 阅读(601) 评论(0) 推荐(0)
elasticsearch快速开始
摘要：Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 查询 ： Elasticsearch 允许执行和合并多种类型的搜索 — 结构化、非结构化、地理位置、度量指标 — 搜索方式随心而变。 分析 ： 找到与查询最匹配的十个文档是一回事。但是如果面对的是十亿行日志，又该 阅读全文
posted @ 2020-06-30 15:42 第十一个程序员 阅读(151) 评论(0) 推荐(0)