摘要： logstash主要是依靠强大的过滤插件，接下来研究和学习下过滤插件。 1. mutate插件 mutate插件几乎是使用最频繁的一个过滤插件，可以对字段进行各种操作，比如重命名、删除、替换、更新等。主要常用操作如下: convert #类型转换gsub #字符串替换split/join/merge 阅读全文

摘要： kibana官方地址：https://www.elastic.co/guide/en/kibana/7.8/xpack-security.html Index Management View index settings, mappings, and statistics and perform o 阅读全文

摘要： 前言 Elasticsearch是借助于lucene API基础上构建的分布式几乎实时的查询组件。只支持文本搜索。需要知道的是，lucene中的索引相当于数据库中的表。 Elasticsearch是一个基于Lucene实现的开源，分布式，Restful的全文本搜索引擎；此外，它还是一个分布式实时文档 阅读全文

摘要： 1. ansible核心组件Playbook 1）playbook前言 Playbook：使用yaml格式进行表示。用来描述对应的远程主机需要执行的任务的一种表达方法。 2）了解YAML YAML（/ˈjæməl/，尾音类似camel骆驼）是一个可读性高，用来表达数据序列化的格式。YAML参考了其他 阅读全文

摘要： 1. 安装和配置ansible 1) ssh部署公钥认证(即ssh无密码登录) 利用非交换式工具实现批量分发公钥与批量管理服务器 a. ssh-keygen b. for i in {2,3}; do ssh-copy-id -i 10.96.211.10$i ; done 2) 安装ansible 阅读全文

摘要： 1.input插件 1）file 插件 2) redis 插件 从redis读取数据 ............................ 2.filter插件 用于在将event通过output发出之前对其实现某些处理功能。 1）grok插件 用于分析并且结构化文本数据（比如：把日志中的每一个 阅读全文

摘要： 1.kafka集群有关topic操作 1) 查看有多少条topic [root@XX bin]# pwd/opt/app/kafka/9092/kafka_2.11-1.0.0/bin [root@XX bin]# ./kafka-topics.sh --list --zookeeper local 阅读全文

摘要： 安装zookeeper 3.4.11单机集群 1.说明 需要说明的几个问题：1）kafka依赖zookeeper,请先安装zookeeper。2）zookeeper依赖java环境，请先安装jdk。3）zookeeper单机集群规划：3个节点，端口号分别是2181、2812、2813。4）zooke 阅读全文

摘要： docker install method:https://docs.docker.com/engine/install/centos/ elasticsearch 参考文章：https://www.cnblogs.com/szwdun/p/10652515.html 具体docker以及单节点el 阅读全文

摘要： logstash有关的常用插件 1. filter插件 filter：用于将event通过output发出之前对其实现某些处理功能。下面介绍的就是filter插件的常用重点插件。 grok插件 grok默认预定义模式 grok:用于分析并结构化文本数据（日志）。目前是logstash中将非结构化数据 阅读全文