随笔分类 -  ELK-Stack系列

elastalert邮件报警
摘要：流程: elastalert读取指定elasticsearch索引,根据规则匹配,如果匹配到就发邮件报警 安装elastalert python必须得2.7以上 设置elastalert索引 设置配置文件 设置规则 smtp_auth_file.yaml 启动elastalert INFO:elas 阅读全文
posted @ 2017-12-01 18:17 差点点温柔 阅读(3448) 评论(0) 推荐(0)
elasticsarch5.4集群安装
摘要：越来越多的企业已经采用ELK解决方案来对其公司产生的日志进行分析，笔者最近着手在生产环境部署自己的ELK stack，本文介绍ELK中elasticsearch5.2集群的实现。 一、环境准备 1、系统：CentOS 6.8 ip及角色：192.168.1.121（master node） 192. 阅读全文
posted @ 2017-11-30 22:26 差点点温柔 阅读(547) 评论(0) 推荐(0)
搭建ELK收集PHP的日志
摘要：架构: filebeat --> redis -->logstash --> es --> kibana 每个客户端需要安装filebeat收集PHP日志 filebeat把收集到的日志传到redis logstash从redis读取日志,读取一条日志就从redis里删除一条日志 logstash把 阅读全文
posted @ 2017-03-29 14:18 差点点温柔 阅读(6453) 评论(0) 推荐(0)
Logstash学习系列之插件介绍
摘要：Logstash插件获取方式 Logstash插件分类 inputs 输入 codecs 解码 filters 过滤 outputs 输出 Logstash_input插件 stdin标准输入 可用参数 file文件输入 可用参数 实例1:过滤nginx的访问日志和错误日志 配置文件 测试 TCP/ 阅读全文
posted @ 2017-02-28 15:04 差点点温柔 阅读(16635) 评论(0) 推荐(0)
Logstash学习系列之基础介绍
摘要：Logstash功能特性 能集中处理各种类型的数据 能标准化不同模式和格式的数据 能快速的扩展自定义日志的格式 它具有收集,分析和转发数据流的功能 Logstash运行参数 Logstash配置语法 logstash处理流程 input-->decode-->filter-->encode-->ou 阅读全文
posted @ 2017-02-28 14:43 差点点温柔 阅读(1432) 评论(0) 推荐(0)
Elasticsearch学习系列之配置文件详解
摘要：################################### Cluster ################################### #定义集群名称,默认是elasticsearch cluster.name: elasticsearch #################################### Node ########################... 阅读全文
posted @ 2017-02-22 11:13 差点点温柔 阅读(5651) 评论(0) 推荐(1)
Elasticsearch学习系列之term和match查询
摘要：Elasticsearch查询模式 一种是像传递URL参数一样去传递查询语句,被称为简单查询 另一种是DSL语句来进行查询,被称为DSL查询,term和match就属于DSL term查询 term是代表完全匹配，即不进行分词器分析，文档中必须包含整个搜索的词汇 格式 实例1:查询index为lib 阅读全文
posted @ 2017-02-22 00:19 差点点温柔 阅读(18857) 评论(0) 推荐(2)
Elasticsearch学习系列之mapping映射
摘要：什么是映射 为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成全文本（Full-text）或精确（Exact-value）的字符串值，Elasticsearch需要知道每个字段里面都包含什么数据类型。这些类型和字段的信息存储在映射中 创建索引的时候,可以预先定义字段的类型以及相关 阅读全文
posted @ 2017-02-21 23:25 差点点温柔 阅读(15882) 评论(2) 推荐(0)
Elasticsearch学习系列之多文档操作mget
摘要：测试数据 GET /library/books/1 GET /library/books/2 multi get 多字段查询可以设置多个文档查询条件，每个查询条件在结构上都比较类似 当然，在查询条件中，body中_index字段也可以放在查询字符串中 对于type也是一样: 如果索引和类型都放在查询 阅读全文
posted @ 2017-02-21 16:34 差点点温柔 阅读(1371) 评论(0) 推荐(0)
Elasticsearch学习系列之单模式下API的增删改查操作
摘要：这里我们通过Elasticsearch的marvel插件实现单模式下API的增删改查操作 索引的初始化操作 创建索引之前可以对索引进行初始化操作,比如先指定shard数量以及replicas的数量 代码 结果 创建索引 代码 结果 查看索引 代码 结果 修改/更新索引 代码 删除索引 代码 结果 E 阅读全文
posted @ 2017-02-21 15:20 差点点温柔 阅读(318) 评论(0) 推荐(0)
Elasticsearch学习系列之介绍安装
摘要：前言 关于ELK搭建的问题，或许你还有些模糊，其实你把我视频里讲的知识点串联起来就明白了。搭建ELK环境，看下面我说的： Elasticsearch简介 Elasticsearch是什么 一个采用restful API标准的高扩展和高可用性的实时数据分析的全文搜索工具 Elasticsearch术语 阅读全文
posted @ 2017-02-21 12:21 差点点温柔 阅读(372) 评论(0) 推荐(0)