随笔分类 -  监控类

1 2 下一页
二十一、可视化与仪表盘
摘要：### 一、可视化 可视化顾名思义就是将数据用图表之类的展示出来。 这一章节建议使用[Nginx日志格式化](https://www.cnblogs.com/tz90/p/15323683.html)后的数据来展示，我发现Filebeat模板格式化后的数据不是很全，不方便展示。 这里挑几个常见的可视 阅读全文
posted @ 2021-09-23 22:24 努力吧阿团 阅读(290) 评论(0) 推荐(0)
二十、日志格式化处理（二）
摘要：一、预处理节点 如果nginx服务器过多，每台都要改配置文件，改为json格式就很繁琐。 而filebeat-pipeline预处理节点就能把正常格式的nginx日志改为json格式 注意这个是在es上实现的，是es的一个功能。 1、还原nginx配置文件 如果是从日志格式处理（一）过来的，需要将N 阅读全文
posted @ 2021-09-23 18:55 努力吧阿团 阅读(543) 评论(0) 推荐(0)
十九、日志格式化处理（一）
摘要：一、日志格式处理 前面已经学了EFK的搭建，查看es-head插件可以发现收集上来的日志对我们来说只有message这个键值才有用，接下来格式化nginx日志将message里的值提取出来方便我们查看。 需要将message字段里的值提取出来方便我们筛选查看 二、环境介绍 Filebeat-->es 阅读全文
posted @ 2021-09-23 12:24 努力吧阿团 阅读(1225) 评论(0) 推荐(0)
十八、Kibana安全角色
摘要：一、Kibana安全角色 安全角色说白了就是相当于linux用户组，提前给用户组设定资源的使用权限，然后再把用户添加到用户组，这样就无需一个一个的给用户设置资源使用权限了。 二、添加安全角色 1）Kibana主页-->安全性设置 2）安全-->用户 在用户界面，我们可以发现之前创建的elastic用 阅读全文
posted @ 2021-09-18 16:58 努力吧阿团 阅读(514) 评论(0) 推荐(0)
十七、优化ES
摘要：一、环境介绍 我是用的是centos7，es的版本是7.9.3 二、官方文档优化方案 官方文档 关闭swap 增加文件描述符 充足的内存 确保足够的线程数 配置jvm dns缓存 临时目录未挂载noexec 设置tcp超时时间 具体怎么优化官方都有案例，点进去看就行 三、常见优化方案 1、增加文件描 阅读全文
posted @ 2021-09-18 11:05 努力吧阿团 阅读(120) 评论(0) 推荐(0)
十六、部署EFK日志系统完整版
摘要：一、事情起因 我看的老男孩76期ELK课程的day106缺了第12集，这一集讲的是安装Filebeat呈现Nginx日志的过程，于是快乐没有了。 因为课程缺失，我看了很多关于Filebeat的博文，但由于版本差异，配置文件也有些许差异；同时还有架构上的不同，导致各式各样的安装方式；为了少走弯路同时更 阅读全文
posted @ 2021-09-15 17:26 努力吧阿团 阅读(862) 评论(1) 推荐(1)
十五、ES开启SSL访问
摘要：开启SSL访问的好处不用多说了吧，直接步入正题吧。 ###一、申请SSL证书 我使用的是阿里云免费申请的SSL证书，很不错的。 前提是需要购买一个域名，配置域名解析还有实名认证，接下来就是免费申请SSL证书了，具体可以看这篇文章。 审核通过后，会下载下来一个名为6269835_tzlinux.cn_ 阅读全文
posted @ 2021-09-11 10:28 努力吧阿团 阅读(802) 评论(0) 推荐(0)
十四、ES开启密码认证
摘要：###一、为什么要用安全认证 每个人都能使用es-head插件跟kibana查看和修改es数据库，这是十分危险的。 所以需要给es-head和kibana添加密码认证。 ###二、环境准备 | 主机名 | 服务 | IP | | | | | | es01 | es+kibana | 10.154.0 阅读全文
posted @ 2021-09-10 17:14 努力吧阿团 阅读(2763) 评论(1) 推荐(1)
十三、ES备份恢复
摘要：###一、备份恢复方案 ES支持两种备份恢复方案，第一种是官方的工具snapshot，第二种是第三方工具elasticsearch-dump。 snapshot工具 官方提供的工具，也叫快照备份； 备份原理是需要一台存储服务器，这里使用nfs存储服务器，并将其挂载到各个节点上，snapshot工具会 阅读全文
posted @ 2021-09-06 11:21 努力吧阿团 阅读(2267) 评论(0) 推荐(0)
十二、ES分词器
摘要：###一、ES分词介绍 我们使用搜索引搜索我们想要查询的内容时，ES数据库会对我们输入的内容进行分词，再按分词的评分进行排序，优先显示评分高的内容。 如在某宝搜索双飞燕蓝牙无线鼠标，某宝的搜索引擎就可能会将该内容分为双飞燕，蓝牙，无线，鼠标，并将评分高的结果优先显示。 如上图，双飞燕就跟无线蓝牙鼠标 阅读全文
posted @ 2021-09-04 16:53 努力吧阿团 阅读(1674) 评论(0) 推荐(0)
十一、ES监控
摘要：###一、使用API接口监控ES 当前集群状态，需要对照该集群状态查看命令用法 注意es02机器有4个分片，es01有3个，es03有4个 ####1、/_cat/allocation 该命令监控集群状态 GET /_cat/allocation 使用命令查看集群状态 说明： 4：表示当前es02机 阅读全文
posted @ 2021-09-02 14:02 努力吧阿团 阅读(853) 评论(0) 推荐(0)
十、自定义分片个数
摘要：前面ES集群详解说过了ES有主分片跟副本分片，副本分片是主分片的备份，且副本分片数量可以自定义。 目前集群状态，可以看到在没有进行配置的情况下，默认副本分片数是1个，主分片数也是1个 ####1、默认分片数规则 7.x版本之前默认：5个分片，1个副本分片 7.x版本之后默认：1个分片，1个副本分片 阅读全文
posted @ 2021-09-01 11:46 努力吧阿团 阅读(271) 评论(0) 推荐(0)
九、ES集群实验
摘要：###一、ES集群说明 ####1、什么是数据分片 跟MySQL不同的是，ES数据库叫分片，主库叫主分片，用粗框表示，域名前用黑色五角星标识 从库叫副分片，用细框表示，域名前用黑色的圆标识 主分片：实际存储数据，负责读写 副分片：主分片数据的副本，提供读（只是建议，当然也支持写），同步主分片的数据 阅读全文
posted @ 2021-08-31 22:53 努力吧阿团 阅读(532) 评论(0) 推荐(0)
八、ES集群搭建
摘要：###一、环境准备 | 主机名 | 服务 | IP | | | | | | es01 | es+kibana | 10.154.0.110 | | es02 | es | 10.154.0.111 | | es03 | es | 10.154.0.112 | ####1、清理环境 部署集群最好使用干 阅读全文
posted @ 2021-08-31 17:23 努力吧阿团 阅读(350) 评论(0) 推荐(0)
七、ES故障排查
摘要：在这里记录一下排查es服务故障的思路 ####1、查看端口 es服务会开启9200跟9300端口 kibana会开启5601端口 es-head会开启9100端口 ss -lntup | grep 9200 ss -lntup | grep 9300 ss -lntup | grep 5601 ss 阅读全文
posted @ 2021-08-31 16:35 努力吧阿团 阅读(1418) 评论(0) 推荐(0)
六、对ES增删改查
摘要：###一、ES的数据结构 ES跟MySQL有很大的区别，现在将MySQL跟ES做对比，这样方便理解。 因为ES数据库是通过API接口进行访问的，访问的方式有如下几种 1、es-head插件 2、kibana控制台 3、curl命令 4、Postman工具 ####1、ES数据库结构对比 | MySQ 阅读全文
posted @ 2021-08-29 15:15 努力吧阿团 阅读(2793) 评论(0) 推荐(0)
五、安装Kibana
摘要：###kibana简介 kibana将收取到存放在es数据库中的日志通过web页面展示出来，更加方便我们直观的去查看日志内容跟告警。 ###kibana安装 注意安装版本要与es数据库版本一致，我这的es版本为7.9.3，kibana版本也必须为7.9.3 1、下载 官网下载 我这选择的是kiban 阅读全文
posted @ 2021-08-18 16:24 努力吧阿团 阅读(1620) 评论(0) 推荐(0)
四、安装es-head插件
摘要：###一、ES插件介绍 ES不同于MySQL数据库，有专门的客户端，如mysql命令，ES数据库通过RESTful风格的API接口进行访问。 这时可通过elasticsearch-head这种第三方插件来管理es数据库。 elasticsearch-head插件在5.0版本之前可通过插件形式直接安装 阅读全文
posted @ 2021-08-18 15:08 努力吧阿团 阅读(2441) 评论(0) 推荐(0)
三、ES配置文件
摘要：###一、配置文件介绍 1、查看使用到的配置文件 2、配置文件说明 /etc/elasticsearch/elasticsearch.yml #es主配置文件 /etc/elasticsearch/jvm.options #jvm内存信息配置，如内存大小设置 /etc/elasticsearch/l 阅读全文
posted @ 2021-08-17 17:00 努力吧阿团 阅读(1874) 评论(0) 推荐(0)
二、ELK安装
摘要：###一、环境准备 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld setenforce 0 getenforce vim /etc/selinux/config SELINUX=disabled 2、做hosts本地解析 v 阅读全文
posted @ 2021-08-16 11:05 努力吧阿团 阅读(156) 评论(0) 推荐(0)

1 2 下一页