2019年3月19日
大数据基础之Logstash（3）应用之http（in和out）
摘要： 一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out logstash2: http in ->ka 阅读全文
posted @ 2019-03-19 23:35 匠人先生 阅读(2277) 评论(0) 推荐(0)
大数据基础之Logstash（3）应用之file解析（grok/ruby/kv）
摘要： 从nginx日志中进行url解析 /v1/test?param2=v2&param3=v3&time=2019-03-18%2017%3A34%3A14->{'param1':'v1','param2':'v2','param3':'v3','time':'2019-03-18 17:34:14'} 阅读全文
posted @ 2019-03-19 17:49 匠人先生 阅读(1913) 评论(0) 推荐(0)
Linux基础之gz文件相关操作
摘要： gz文件不需要解压即可进行相关操作 $ zcat test.log.gz $ zmore test.log.gz $ zless test.log.gz $ zgrep '1.2.3.4' test.log.gz $ egrep 'regex' test.log.gz 阅读全文
posted @ 2019-03-19 16:20 匠人先生 阅读(1047) 评论(0) 推荐(0)
大数据基础之Logstash（1）简介、安装、使用
摘要： Logstash 6.6.2 官方：https://www.elastic.co/products/logstash 一 简介 Centralize, Transform & Stash Your Data Logstash is an open source, server-side data p 阅读全文
posted @ 2019-03-19 16:12 匠人先生 阅读(404) 评论(0) 推荐(0)