2019 年 8月 9 日随笔档案 - miss_xxy

Gitlab备份与恢复、迁移与升级

摘要： Gitlab是一个利用Ruby on Rails开发的开源应用程序，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人的项目Gitlab能够浏览源代码，管理缺陷和注释。 1.Gitlab安装 1.安装和配置必要的依赖关系在CentOS7，下面的命令将在系统防火墙打开HTTP和SS 阅读全文

posted @ 2019-08-09 12:00 miss_xxy 阅读(259) 评论(0) 推荐(0)

第十五章·Kibana深入-Dev Tools及Lucene语法

摘要： Dev Tools介绍 Dev Tools 页面包含开发工具，您可以使用这些Dev Tools与Kibana中的数据进行交互。原先的交互式控制台Sense，使用户方便的通过浏览器直接与Elasticsearch进行交互。从Kibana 5开始改名并直接内建在Kibana，就是Dev Tools选项阅读全文

posted @ 2019-08-09 09:21 miss_xxy 阅读(1989) 评论(0) 推荐(0)

第十四章·Kibana深入-Timelion画图实现系统监控

摘要：什么是Timelion？ Timelion使你可以轻松获得以下问题的答案： 1）随着时间的推移，每个唯一的用户会查看多少个页面?2）这个星期五和上周五之间的交通量有什么不同？3）今天有多少日本人口来到我的网站？4）标准普尔500指数的10日均线是多少？5）过去两年收到的所有搜索请求的累计总和是多少？阅读全文

posted @ 2019-08-09 09:19 miss_xxy 阅读(2801) 评论(0) 推荐(0)

第十三章·Kibana深入-使用地图统计客户端IP

摘要：地址库在ELK中，我们可以使用地址库，来对IP进行分析，对日志进行分析，在ELKstack中只有Logstash可以做到，但是出图，是Kibana来出的，所以我们首先需要下载地址库数据文件，然后对Logstash进行配置，使用geoip模块对日志访问IP进行分析后，再以中国地图或者是世界地图的形式阅读全文

posted @ 2019-08-09 09:14 miss_xxy 阅读(1803) 评论(0) 推荐(0)

第十二章·Kibana深入-日志图形展示

摘要： 1.Kibana创建区域图 Kibana支持多重图从展示功能，需要日志是json格式的支持。打开浏览器，访问：http://10.0.0.54:5601 选择一个日志添加一个X轴再次点击Vlsualize即可看见刚才创建的图形 2.Kibana创建数据表点击图中 +号阅读全文

posted @ 2019-08-09 09:09 miss_xxy 阅读(1122) 评论(0) 推荐(0)

第十一章·Filebeat-使用Filebeat收集日志

摘要： Filebeat介绍及部署 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。 Filebe 阅读全文

posted @ 2019-08-09 08:59 miss_xxy 阅读(3083) 评论(0) 推荐(0)

第九章·Logstash深入-Logstash配合rsyslog收集haproxy日志

摘要： rsyslog介绍及安装配置在centos 6及之前的版本叫做syslog，centos 7开始叫做rsyslog，根据官方的介绍，rsyslog(2013年版本)可以达到每秒转发百万条日志的级别，官方网址：http://www.rsyslog.com/ 测试域名访问测试haproxy，打开浏阅读全文

posted @ 2019-08-09 08:58 miss_xxy 阅读(522) 评论(0) 推荐(0)

第十章· Logstash深入-Logstash与Redis那点事

摘要： Logstash将日志写入Redis 在企业中，日志规模的量级远远超出我们的想象，这就是为什么会有一家公司日志易专门做日志收集，给大型金融公司收集日志，比如银行，因为你有可能看到，1秒钟好几千万的日志量，往服务器写入，那么企业中的集群，架构都不是单台的，而是多台的，一台如果是1千万，那么5台的量级，阅读全文

posted @ 2019-08-09 08:58 miss_xxy 阅读(659) 评论(0) 推荐(0)

第八章·Logstash深入-通过TCP/UDP收集日志

摘要： 1.收集TCP/UDP日志通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 NetCat简称nc，在网络工具中有瑞士军刀美誉，其功能实用，是一个简单、可阅读全文

posted @ 2019-08-09 08:57 miss_xxy 阅读(1793) 评论(0) 推荐(0)

第七章·Logstash深入-收集NGINX日志

摘要： 1.NGINX安装配置因为资源问题，我们先将nginx安装在Logstash所在机器打开浏览器，访问：http://10.0.0.53/ 之前我们讲了tomcat日志，在企业中，修改格式需要与开发商量，但是nginx我们不需要，如果需要原来的格式日志，我们可以将日志输出两份，一份 main格式阅读全文

posted @ 2019-08-09 08:56 miss_xxy 阅读(440) 评论(0) 推荐(0)

第六章·Logstash深入-收集java日志

摘要： 1.通过Logstash收集java日志并输出到ES中因为我们现在需要用Logstash收集tomcat日志，所以我们暂时将tomcat安装到Logstash所在机器，也就是db03：10.0.0.53这台机器，收集tomcat访问日志以及tomcat错误日志进行实时统计，在企业中，tomcat机阅读全文

posted @ 2019-08-09 08:55 miss_xxy 阅读(1768) 评论(0) 推荐(0)

第五章·Logstash深入-日志收集

摘要： 1.Logstash收集单个日志到文件中不难理解，我们的日志通常都是在日志文件中存储的，所以，当我们在使用INPUT插件时，收集日志，需要使用file模块，从文件中读取日志的内容，那么接下来讲解的是，将日志内容输出到另一个文件中，如此一来，我们可以将日志文件同意目录，方便查找。注意：Logsta 阅读全文

posted @ 2019-08-09 08:53 miss_xxy 阅读(341) 评论(0) 推荐(0)

第四章·Kibana入门-安装,索引添加及界面功能

摘要： 1.Kibana简介及部署 Kibana是一个通过调用elasticsearch服务器进行图形化展示搜索结果的开源项目。打开浏览器，访问：http://10.0.0.54:5601/status 查看Kibana及集群状态。 2.Kibana中添加ES索引打开浏览器，访问：http://10 阅读全文

posted @ 2019-08-09 08:51 miss_xxy 阅读(619) 评论(0) 推荐(0)

第三章·Logstash入门-部署与测试

摘要： 1.Logstash环境准备与安装关闭防火墙关闭SELINUX 设置epel源修改时区设置时间同步 Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash整个ELK当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指定的且可以是多个不同目的地。安装J 阅读全文

posted @ 2019-08-09 08:47 miss_xxy 阅读(594) 评论(0) 推荐(0)

第二章·Elasticsearch内部分片及分片处理机制介绍

摘要：一、副本分片介绍副本分片的主要目的就是为了故障转移，如果持有主分片的节点挂掉了，一个副本分片就会晋升为主分片的角色。在索引写入时，副本分片做着与主分片相同的工作。新文档首先被索引进主分片然后再同步到其它所有的副本分片。增加副本数并不会增加索引容量。无论如何，副本分片可以服务于读请求，如果你的索阅读全文

posted @ 2019-08-09 08:43 miss_xxy 阅读(2660) 评论(0) 推荐(0)

第一章·ELKstack介绍及Elasticsearch部署

摘要：一、ELKstack课程大纲二、ELKstack简介通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为elastic.co，ELK stack 阅读全文

posted @ 2019-08-09 08:38 miss_xxy 阅读(681) 评论(0) 推荐(0)

xly的linux之路