摘要: 1.filebeat收集本地日志到文件配置 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enable: true paths: - /var/log/messages output.file: 阅读全文
posted @ 2020-08-22 15:23 等等马上就好 阅读(867) 评论(0) 推荐(0)
摘要: 1.简介 Filebeat附带预构建的模块,这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置,每个Filebeat模块由一个或多个文件集组成,这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。 Filebeat模块很好的入门 阅读全文
posted @ 2020-08-22 15:21 等等马上就好 阅读(171) 评论(0) 推荐(0)
摘要: 1.rsyslog介绍 在centos 6及之前的版本叫做syslog,centos 7开始叫做rsyslog,根据官方的介绍,rsyslog(2013年版本)可以达到每秒转发百万条日志的级别,官方网址:http://www.rsyslog.com/ 2.安装 [root@web01 ~]# yum 阅读全文
posted @ 2020-08-22 15:20 等等马上就好 阅读(254) 评论(0) 推荐(0)
摘要: 1.配置收集日志 [root@web01 ~]# vim /etc/logstash/conf.d/tcp.conf input { tcp { port => "1234" mode => "server" } } output { stdout {} } 2.使用telnet测试 [root@d 阅读全文
posted @ 2020-08-22 15:19 等等马上就好 阅读(494) 评论(0) 推荐(0)
摘要: 1.配置将数据写入redis [root@web01 ~]# vim /etc/logstash/conf.d/nginx_to_redis.conf input { file { path => "/var/log/nginx/access.log" start_position => "begi 阅读全文
posted @ 2020-08-22 15:16 等等马上就好 阅读(427) 评论(0) 推荐(0)
摘要: 1.方法一: 1)修改tomcat日志收集配置 [root@web01 ~]# vim /etc/logstash/conf.d/tomcat_json_es.conf input { file { path => "/usr/local/tomcat/logs/tomcat_access_json 阅读全文
posted @ 2020-08-22 15:15 等等马上就好 阅读(187) 评论(0) 推荐(0)
摘要: 1.安装Nginx [root@web01 ~]# yum install -y nginx 2.配置Nginx日志格式 [root@web01 ~]# vim /etc/nginx/nginx.conf ... ... http { log_format json '{"@timestamp":" 阅读全文
posted @ 2020-08-22 15:14 等等马上就好 阅读(193) 评论(0) 推荐(0)
摘要: 1.安装Tomcat 1.安装java环境 [root@web01 ~]# rpm -ivh jdk-8u181-linux-x64.rpm 2.上传包 [root@web01 ~]# rz apache-tomcat-10.0.0-M7.tar.gz 3.解压 [root@web01 ~]# ta 阅读全文
posted @ 2020-08-22 15:13 等等马上就好 阅读(1130) 评论(0) 推荐(0)
摘要: 1.Logstash的配置文件 [root@web01 ~]# vim /etc/logstash/logstash.yml path.config: /etc/logstash/conf.d 2.logstash收集日志文件到文件 [root@web01 ~]# vim /etc/logstash 阅读全文
posted @ 2020-08-22 15:11 等等马上就好 阅读(460) 评论(0) 推荐(0)
摘要: 1.ES搭建 2.搭建 Logstash 1)安装java环境 1.上传java包 2.安装Java环境 2)时间同步 [root@web01 ~]# ntpdate time1.aliyun.com 3)安装Logstash 1.上传包 [root@web01 ~]# rz logstash-6. 阅读全文
posted @ 2020-08-17 21:18 等等马上就好 阅读(197) 评论(0) 推荐(0)
摘要: 1.ELK Stack 组成 Software Description Function E:Elasticsearch Java 程序 存储,查询日志 L:Logstash Java 程序 收集、过滤日志 K:Kibana Java 程序 提供 Web 服务,将数据页面化 F:Filebeat g 阅读全文
posted @ 2020-08-17 21:09 等等马上就好 阅读(173) 评论(0) 推荐(0)
摘要: 1.安装插件 [root@db01 ~]# /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v 阅读全文
posted @ 2020-08-17 14:33 等等马上就好 阅读(127) 评论(0) 推荐(0)
摘要: 1.安装npm环境 # 安装npm(只需要在一个节点安装即可,如果前端还有nginx做反向代理可以每个节点都装) [root@elkstack01 ~]# yum install -y npm # 进入下载head插件代码目录 [root@elkstack01 src]# cd /usr/local 阅读全文
posted @ 2020-08-17 14:31 等等马上就好 阅读(3509) 评论(0) 推荐(0)
摘要: 1.ElasticSearch 集群相关概念 1.ES集群颜色状态 ①. — 红色:数据都不完整 ②. — 黄色:数据完整,但是副本有问题 ③. — 绿色:数据和副本全都没有问题 2.ES 集群节点类型 ①. — 主节点:负责调度分配数据 ②. — 数据节点:处理分配到自己的数据 3.ES 集群分片 阅读全文
posted @ 2020-08-17 14:27 等等马上就好 阅读(444) 评论(0) 推荐(0)
摘要: 1.创建索引 # 语法: PUT /<index> # 示例: PUT /laowang PUT xiaowang 2.创建数据 # 语法 PUT /<index>/_doc/<_id> POST /<index>/_doc/ PUT /<index>/_create/<_id> POST /<in 阅读全文
posted @ 2020-08-17 14:10 等等马上就好 阅读(6100) 评论(0) 推荐(1)
摘要: 1.Curl 命令 # 建立索引 [root@dbtest01 ~]# curl -XPUT 'http://10.0.0.121:9200/test' # 插入数据 [root@dbtest01 ~]# curl -XPUT 'localhost:9200/student/user/1?prett 阅读全文
posted @ 2020-08-17 13:51 等等马上就好 阅读(191) 评论(0) 推荐(0)
摘要: 部署ES 1.服务器时间同步(注意:多台的时候字符集跟时间一定要一致) [root@db01 ~]# yum install -y ntpdate [root@db01 ~]# ntpdate time1.aliyun.com 2.安装java环境 # 上传 [root@db01 ~]# rz jd 阅读全文
posted @ 2020-08-10 21:08 等等马上就好 阅读(177) 评论(0) 推荐(0)
摘要: 1.生活中的数据分类 1.结构化数据 行数据,以二维表的形式展示的数据 2.非结构化数据 没有具体结构,视频,文本,音乐文件 3.半结构化数据 xml表格办公软件,HTML 2.搜索的种类 1.结构化数据搜索 结构化数据有固定结构,我们会给他建立关系,生成二维表查询 2.非结构化数据搜索 1.顺序扫 阅读全文
posted @ 2020-08-10 21:03 等等马上就好 阅读(185) 评论(0) 推荐(0)
摘要: 1.安装工具 # 1.安装依赖 [root@db02 ~]# yum install -y python-pip python-devel # 2.安装工具 [root@db02 ~]# pip install rdbtools python-lzf # 3.下载或上传 [root@db02 ~]# 阅读全文
posted @ 2020-08-09 12:10 等等马上就好 阅读(915) 评论(0) 推荐(0)
摘要: 1.安装迁移工具 #1.安装依赖 [root@db02 ~]# yum install -y automake libtool autoconf bzip2 #2.拉取工具 [root@db02 ~]# git clone https://github.com/vipshop/redis-migra 阅读全文
posted @ 2020-08-09 12:08 等等马上就好 阅读(169) 评论(0) 推荐(0)