日志管理 - 随笔分类 - 永远的大空翼

logstash 使用

摘要：logstash主要是依靠强大的过滤插件，接下来研究和学习下过滤插件。 1. mutate插件 mutate插件几乎是使用最频繁的一个过滤插件，可以对字段进行各种操作，比如重命名、删除、替换、更新等。主要常用操作如下: convert #类型转换gsub #字符串替换split/join/merge 阅读全文

posted @ 2022-08-30 11:22 永远的大空翼阅读(220) 评论(0) 推荐(0)

Elasticsearch

摘要：前言 Elasticsearch是借助于lucene API基础上构建的分布式几乎实时的查询组件。只支持文本搜索。需要知道的是，lucene中的索引相当于数据库中的表。 Elasticsearch是一个基于Lucene实现的开源，分布式，Restful的全文本搜索引擎；此外，它还是一个分布式实时文档阅读全文

posted @ 2022-04-28 10:45 永远的大空翼阅读(103) 评论(0) 推荐(0)

Logstash 常用插件

摘要：1.input插件 1）file 插件 2) redis 插件从redis读取数据 ............................ 2.filter插件用于在将event通过output发出之前对其实现某些处理功能。 1）grok插件用于分析并且结构化文本数据（比如：把日志中的每一个阅读全文

posted @ 2022-03-23 09:29 永远的大空翼阅读(511) 评论(0) 推荐(0)

单机Kafka集群操作

摘要：1.kafka集群有关topic操作 1) 查看有多少条topic [root@XX bin]# pwd/opt/app/kafka/9092/kafka_2.11-1.0.0/bin [root@XX bin]# ./kafka-topics.sh --list --zookeeper local 阅读全文

posted @ 2022-03-22 09:37 永远的大空翼阅读(53) 评论(0) 推荐(0)

单机部署和配置Kafka集群

摘要：安装zookeeper 3.4.11单机集群 1.说明需要说明的几个问题：1）kafka依赖zookeeper,请先安装zookeeper。2）zookeeper依赖java环境，请先安装jdk。3）zookeeper单机集群规划：3个节点，端口号分别是2181、2812、2813。4）zooke 阅读全文

posted @ 2022-03-14 09:52 永远的大空翼阅读(1176) 评论(0) 推荐(0)

docker install Elasticsearch

摘要：docker install method:https://docs.docker.com/engine/install/centos/ elasticsearch 参考文章：https://www.cnblogs.com/szwdun/p/10652515.html 具体docker以及单节点el 阅读全文

posted @ 2022-02-21 16:21 永远的大空翼阅读(104) 评论(0) 推荐(0)

ELK04-logstash 专项search

摘要：logstash有关的常用插件 1. filter插件 filter：用于将event通过output发出之前对其实现某些处理功能。下面介绍的就是filter插件的常用重点插件。 grok插件 grok默认预定义模式 grok:用于分析并结构化文本数据（日志）。目前是logstash中将非结构化数据阅读全文

posted @ 2022-02-21 09:29 永远的大空翼阅读(43) 评论(0) 推荐(0)

ELK03-使用kafka作为缓存收集日志

摘要：1.Kafka简介 Kafka 被称为下一代分布式消息系统，是非营利性组织ASF(Apache Software Foundation，简称为ASF)基金会中的一个开源项目，比如HTTP Server、Hadoop、ActiveMQ、Tomcat等开源软件都属于Apache基金会的开源软件，类似的消阅读全文

posted @ 2022-02-08 15:28 永远的大空翼阅读(239) 评论(0) 推荐(0)

ELK02-ELK收集Linux系统平台应用系统日志

摘要：1.ELK收集日志介绍展示日志： kibana。即它本身没有数据,kibana从ES里收集数据进行展示。收集日志：filebeat。想在哪一台收集日志，就在哪一台安装filebeat。它（filebeat）就是一个客户端！你需要在哪一台收集日志就在哪一台安装filebeat，和zabbix ag 阅读全文

posted @ 2022-01-17 09:10 永远的大空翼阅读(1141) 评论(0) 推荐(0)

ELK01-Elasticsearch

摘要：1.Elastic search（ES）介绍到底什么是Elasticsearch呢？官方网站给的解释如下： What is Elasticsearch? You know, for search (and analysis) Elasticsearch is the distributed sea 阅读全文

posted @ 2022-01-11 08:53 永远的大空翼阅读(151) 评论(0) 推荐(0)

日志管理工具之logrotate

摘要：Logrotate配置和测试 logrotate软件是一个日志管理工具，用于非分隔日志，删除旧的日志文件，并创建新的日志文件，起到“转储作用”，可以为系统节省磁盘空间。logrotate是基于crontab运行的，其脚本是/etc/cron.daily/logtotate，日志轮转是系统自发完成的，阅读全文

posted @ 2018-09-17 16:32 永远的大空翼阅读(263) 评论(0) 推荐(0)

随笔分类 - 日志管理