94、大数据分布式存储丶ELK - 随笔分类 - 走路带风的帅界扛把子

grok语法定义

摘要：grok默认表达式 Logstash 内置了120种默认表达式，可以查看patterns，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。常用表达式表达式标识名称详情匹配例子 USERNAME 或 USER 用户名由数字、大小写及特殊字符(._-)组阅读全文

posted @ 2019-08-22 16:22 走路带风的帅界扛把子阅读(12308) 评论(2) 推荐(3) 编辑

elasticsearch的数据写入流程及优化

摘要：Elasticsearch 写入流程及优化一、集群分片设置：ES一旦创建好索引后，就无法调整分片的设置，而在ES中，一个分片实际上对应一个lucene 索引，而lucene索引的读写会占用很多的系统资源，因此，分片数不能设置过大；所以，在创建索引时，合理配置分片数是非常重要的。一般来说，我们遵循阅读全文

posted @ 2019-07-23 15:21 走路带风的帅界扛把子阅读(13282) 评论(0) 推荐(2) 编辑

elasticsearch-7.16.2集群+https+x-pack认证

摘要：目录：软件及环境准备 JDK安装配置 ElasticSearch安装及配置生成证书 Basic Security Plus Https Elastic 设置用户密码 logstash配置https kibana配置https 一、软件及环境准备服务器环境 CentOS6.9_64位一台 es: 阅读全文

posted @ 2019-06-10 17:10 走路带风的帅界扛把子阅读(8607) 评论(0) 推荐(0) 编辑

kafka集群搭建

摘要：1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer, 阅读全文

posted @ 2019-06-06 17:45 走路带风的帅界扛把子阅读(7934) 评论(0) 推荐(0) 编辑

Zookeeper集群搭建

摘要：1、zookeeper概念 zookeeper是一个分布式协调服务： Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服阅读全文

posted @ 2019-06-05 10:04 走路带风的帅界扛把子阅读(1625) 评论(1) 推荐(0) 编辑

Hadoop+Hbase+Zookeeper分布式存储构建

摘要：目录：软件准备 Hadoop安装配置 zookeeper安装配置 Hbase安装配置 Hadoop+Hbase+zookeeper分布式存储构建前言* Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我阅读全文

posted @ 2019-05-31 17:27 走路带风的帅界扛把子阅读(1362) 评论(0) 推荐(0) 编辑

ELK实战搭建+x-pack安全认证

摘要：阅读目录： ELK日志平台入门简介1.1 ELK原理拓扑图1.2 Elasticsearch安装配置1.3 Kibana安装配置1.4 Kibana汉化及时区修改1.5 Logstash安装配置1.6 Kafka/Redis服务数据存储1.7 Filebeat安装及启动1.8 Filebeat收集a 阅读全文

posted @ 2019-05-14 11:15 走路带风的帅界扛把子阅读(2998) 评论(0) 推荐(0) 编辑

ELK优化难题解决

摘要：你头疼的ELK难题，本文几乎都解决了一、ELK实用知识点总结 1、编码转换问题这个问题，主要就是中文乱码。 input中的codec=>plain转码：将GB2312的文本编码，转为UTF-8的编码。也可以在filebeat中实现编码的转换（推荐）： 2、删除多余日志中的多余行 logsta 阅读全文

posted @ 2019-05-06 10:34 走路带风的帅界扛把子阅读(844) 评论(0) 推荐(0) 编辑

随笔分类 - 94、大数据分布式存储丶ELK