ELK

 

ES 6.6.x

www.elastic.co

概述

产生背景：
海量数据组合条件查询
毫秒级或者秒级返回数据

 

es和solr都是成品，前者restful风格；后者需要提交xml风格的数据。

 

 

es 核心技术

cluster
shards
replica
recovery
gateway
discoveryzen
transport
settings
mapping

 

es java开发

es maven 项目构建及依赖添加
9200 和9300端口区别与联系
高级客户端与Transport Client  （7淘汰）
高级客户端连接ES集群
索引操作： 
　　索引Index
　　索引查询get
　　索引判断exists
　　索引删除delete
　　索引更新update
　　索引批量操作bulk
　　索引批量查询mget
searchType 类型与原理
searchType 使用
query 查询详解
aggregation 聚合案例
ES分页
多索引和多类型查询
极速查询原理
极速查询实现

 

es 索引

整排索引与倒排索引
索引分析模块组成
索引和搜索过程
停用词
分词器介绍
maven安装
IK分词插件源码编译与安装
IK分词插件测试运行
自定义IK词库
热更新IK词库

 

es 集群安装

es集群规划
系统环境配置
es集群配置
es集群启动运行
X-Pack安装
Kibana安装

 

es 性能优化

 

 

企业级：构建ELK海量日志分析平台

1、项目需求分析与架构设计

ELK 项目需求而分析
ELK 架构设计

2、Filebeat数据采集

Filebeat配置详解
Filebeat安装使用
Filebeat多input和output的使用
redis介绍、安装、配置与测试
Filebeat与redis集成开发

3、Logstash数据集合与解析

Logstash安装使用
Logstash file input 使用
Logstash 与 redis 集成开发
Logstash 与es 集成开发

4、ELK海量日志分析平台构建

ELK整个项目流程打通
Logstash filter 插件之内置grok使用
Logstash filter 插件之自定义grok使用
Filebeat 多数源打标机
Filebeat 打标记多数数据源入库redis
Logstash 解析爬虫日志
Logstash 解析Tomact日志
Logstash 解析多数据源
ELK 海量日志平台完整搭建

 

5、ELK项目优化与总结

Kibana时间轴问题
多行异常日志整合（1）
多行异常日志整合（2）
ELK项目总结

 

 

Kibana 6.6.x

 

Kibana 介绍与数据准备
Kibana Discovery 数据发现
Kibana Visualize 数据可视化

Coordinate Map 地图
Heat Map热力图
Line 线形图
Pie 饼图
visual Builder可视化生成器

Kibana Dashboards 仪表盘
Kibana Timelion 时间序列可视化
Kibana Canvas大屏展示
Kibana Machine Learning 机器学习
Kibana Dev Tools 开发工具
Kibana Monitoring 集群监控
Kibana Management 管理工具
Kibana 其他功能（1）