随笔分类 -  大型架构-ELK

十五、filebeat安装与配置
摘要：•filebeat安装与配置–使用rpm 安装filebeat rpm -ivhfilebeat-1.2.3-x86_64.rpm–修改配置文件/etc/filebeat/filebeat.yml–设置开机运行[root@logstash] systemctlenable filebeat–开启服务 阅读全文
posted @ 2021-08-23 10:05 落樰兂痕 阅读(490) 评论(0) 推荐(0)
十四、output ES 插件
摘要：•output ES 插件 if [type] == "filelog"{ elasticsearch{ hosts => ["192.168.4.15:9200","192.168.4.10:9200"] index => "weblog" 指定索引 flush_size=> 2000 idle_ 阅读全文
posted @ 2021-08-19 16:43 落樰兂痕 阅读(66) 评论(0) 推荐(0)
十四、系统模块插件（三）
摘要：13.1 filter grok插件–解析各种非结构化的日志数据插件–grok使用正则表达式把飞结构化的数据结构化–在分组匹配，正则表达式需要根据具体数据结构编写–虽然编写困难，但适用性极广–几乎可以应用于各类数据grok{ match => [“message”,“%{IP:ip}，(?<key> 阅读全文
posted @ 2021-08-19 16:29 落樰兂痕 阅读(49) 评论(0) 推荐(0)
十三、系统日模块插件（二）
摘要：13.1 syslog日志模块syslog{ host => "0.0.0.0" port => 514 type => "syslog"}–rsyslog.conf配置向进程发送数据local0.info@@192.168.4.10:514–写syslog，查看状态logger -p local0 阅读全文
posted @ 2021-08-19 15:39 落樰兂痕 阅读(96) 评论(0) 推荐(0)
十二、系统模块插件（一）
摘要：tcp{ mode => "server" #连接模式有server、client host => "0.0.0.0" #监听的主机地址如果是server就是本机地址如果是client就是你要连接server主机的地址，监听地址0.0.0.0表示监听所有地址 port => 8888 #端口8888 阅读全文
posted @ 2021-08-19 14:57 落樰兂痕 阅读(87) 评论(0) 推荐(0)
十一、logstash配置文件及插件
摘要：11.1 logstash的第一个配置文件–/etc/logstash/logstash.confinput{ stdin{}}filter{ }output{ stdout{}}•启劢并验证–logstash –f logstash.conf•logstash插件–上页的配置文件使用了logsta 阅读全文
posted @ 2021-08-19 11:27 落樰兂痕 阅读(574) 评论(0) 推荐(0)
十、logstash的安装
摘要：10.1 logstash是什么–logstash是一个数据采集、加工处理以及传输的工具10.2 logstash特点：–所有类型的数据集中处理–不同模式和格式数据的正常化–自定义日志格式的迅速扩展–为自定义数据源轻松添加插件10.3 服务器准备192.168.0.18 logstash[root@ 阅读全文
posted @ 2021-08-19 09:37 落樰兂痕 阅读(327) 评论(0) 推荐(0)
九、kibana部分
摘要：9.1 数据导入后查看logs是否导入成功 用浏览器访问http://192.168.0.10:9200/_plugin/head/ 9.2 修改kibana的配置文件后启劢kibana，然后查看ES 集群，如果出现.kibanaIndex 表示kibana不ES 集群连接成功 9.3 kibana 阅读全文
posted @ 2021-08-18 15:47 落樰兂痕 阅读(74) 评论(0) 推荐(0)
八、kibana数据的批量查询与map 映射
摘要：•数据批量查询使用GETcurl -XGET 'http://192.168.0.10:9200/_mget?pretty' -d '{ "docs":[ { "_index": "00", "_type:": "xx", "_id": 1 }, { "_index": "00", "_type:" 阅读全文
posted @ 2021-08-18 11:09 落樰兂痕 阅读(318) 评论(0) 推荐(0)
七、kibana数据的批量导入
摘要：7.1 下载数据[root@kibana ~]# lftp 192.168.0.254lftp 192.168.0.254:~> get /pub/elk/accounts.json lftp 192.168.0.254:/pub/elk> get shakespeare.json.gz lftp 阅读全文
posted @ 2021-08-18 10:41 落樰兂痕 阅读(1753) 评论(0) 推荐(0)
六、kibana安装
摘要：6.1 kibana是什么–数据可视化平台工具6.2 特点：–灵活的分析和可视化平台–实时总结和流数据的图表–为不同的用户显示直观的界面–即时分享和嵌入的仦表板6.3 准备一台虚拟机（安装kibana）kibana 192.168.0.166.4 Kibana安装6.4.1 修改hosts文件[ro 阅读全文
posted @ 2021-08-17 17:09 落樰兂痕 阅读(137) 评论(0) 推荐(0)
五、HTTP 与RESTful API
摘要：5.1 RESTful API 调用•Elasticsearch提供了一系列RESTful的API–检查集群、节点、索引的健康度、状态和统计–管理集群、节点、索引的数据及元数据–对索引进行CRUD操作及查询操作–执行其他高级操作如分页、排序、过滤等•POST 戒PUT 数据使用json格式•json 阅读全文
posted @ 2021-08-17 16:06 落樰兂痕 阅读(167) 评论(0) 推荐(0)
四、Elasticsearch插件的安装与使用
摘要：4.1 ES的常用命令查看[root@es1 bin]# cd /usr/share/elasticsearch/bin[root@es1 bin]# lselasticsearch elasticsearch.in.sh elasticsearch-systemd-pre-exec plugin• 阅读全文
posted @ 2021-08-17 15:10 落樰兂痕 阅读(493) 评论(0) 推荐(0)
三、HTTP 协议简介
摘要：•http请求由三部分组成–分别是：请求行、消息报头、请求正文–请求行以一个方法符号开头，以空格分开，后面跟着请求的URI和协议的版本，格式如下：Method Request-URI HTTP-Version CRLF•http请求方法–常用方法GET, POST, HEAD–其他方法OPTIONS 阅读全文
posted @ 2021-08-17 10:49 落樰兂痕 阅读(57) 评论(0) 推荐(0)
二、Elasticsearch 集群安装
摘要：2.1 安装第一台ES 服务器–设置主机名称和ip对应关系–解决依赖关系–安装软件包–修改配置文件–吭劢服务–检查服务•步骤1，设置ip不主机名称对应关系[root@host1 ~]# echo es1 >/etc/hostname[root@host1 ~]# hostname es1[root@ 阅读全文
posted @ 2021-08-17 10:27 落樰兂痕 阅读(117) 评论(0) 推荐(0)
一、elk简介
摘要：1.1 重定向重定向：< ：[读重定向] 、> ：[写重定向]、>>:[追加重定向]、<<：[终止符号]<<：[终止符号] 举例[root@host1 ~]# cat << bb> 123> 1223> 1123> 123> bb12312231123123注：表示读到<<符号的内容终止当前命令，如 阅读全文
posted @ 2021-08-13 11:05 落樰兂痕 阅读(372) 评论(0) 推荐(0)