K8S部署ELK（四）：部署logstash - 教程

目录

1. Logstash 简介

1.1 主要功能

1.2 核心组件

1.3 主要特点

1.4 典型应用场景

2. 部署logstash

2.1 创建Namespace

2.2 创建ConfigMap

2.3 创建Service

2.4 创建Deployment

2.5 部署所有资源

2.6 检查Logstash Pod状态

---

1. Logstash 简介

Logstash 是一个开源的数据收集引擎，具有实时管道处理能力，属于 Elastic Stack（原 ELK Stack）的一部分，常与 Elasticsearch 和 Kibana 配合使用。

1.1 主要功能

1. 数据收集：从各种来源（日志文件、数据库、消息队列等）采集数据

2. 数据处理：过滤、解析和转换数据

3. 数据输出：将处理后的数据发送到目标存储或分析系统

1.2 核心组件

Logstash 处理管道包含三个主要部分：

1. Input（输入插件）：负责接收数据

   • 常见输入源：文件、syslog、Redis、Beats、Kafka、JDBC 等

2. Filter（过滤插件）：负责处理数据

   • 常用过滤器：Grok（模式匹配）、Mutate（字段操作）、Date（日期处理）、GeoIP（地理位置）等

3. Output（输出插件）：负责发送数据

   • 常见输出目标：Elasticsearch、文件、Email、TCP、HTTP 等

1.3 主要特点

• 插件化架构：丰富的插件生态系统

• 可扩展性：能够处理高吞吐量的数据

• 灵活性：支持多种数据格式和协议

• 实时处理：数据采集和处理几乎实时完成

1.4 典型应用场景

1. 日志收集与分析

2. 事件监控和告警

3. 数据转换和规范化

4. 作为数据管道连接不同系统

2. 部署logstash

2.1 创建Namespace

kubectl create namespace elk

2.2 创建ConfigMap

vim logstash-configmap.yaml

---
apiVersion: v1
kind: ConfigMap
metadata:
  namespace: elk
  name: logstash-config
  labels:
    app: logstash
data:
  logstash.conf: |-
    input {
      kafka {
        bootstrap_servers => "kafka-0.kafka-headless.elk.svc.cluster.local:9092"
        topics => ["k8s-outlog"]
        group_id => "logstash-consumer-group"
        codec => "json"
        consumer_threads => 1
        decorate_events => true
        security_protocol => "PLAINTEXT"
      }
    }
​
    filter {
      if [fields][logformat] == "json" {
        json {
          source => "message"
          target => "message"
        }
      }
    }
​
    output {
      if [fields][logtype] =~ "k8s-outlog.*" {
        elasticsearch {
          hosts => ["http://elasticsearch-0.elasticsearch-cluster.elk.svc.cluster.local:9200"]
          index => "k8s-outlog-%{+YYYY.MM.dd}"
        }
      }
      if [fields][logtype] =~ "k8s-messagelog.*" {
        elasticsearch {
          hosts => ["http://elasticsearch-0.elasticsearch-cluster.elk.svc.cluster.local:9200"]
          index => "k8s-messagelog-%{+YYYY.MM.dd}"
        }
      }
    }

2.3 创建Service

vim logstash-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: logstash
  namespace: elk
  labels:
    app: logstash
spec:
  selector:
    app: logstash
  ports:
    - protocol: TCP
      port: 5044
      targetPort: 5044
  type: ClusterIP

2.4 创建Deployment

vim logstash-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: logstash
  namespace: elk
spec:
  replicas: 1
  selector:
    matchLabels:
      app: logstash
  template:
    metadata:
      labels:
        app: logstash
    spec:
      containers:
      - name: logstash
        image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.elastic.co/logstash/logstash:7.17.3
        env:
        - name: "PIPELINE_WORKERS"
          value: "2"
        - name: "PIPELINE_BATCH_SIZE"
          value: "5000"
        - name: "PIPELINE_BATCH_DELAY"
          value: "2"
        - name: "LS_JAVA_OPTS"
          value: "-Xms512m -Xmx1g"
        - name: "path.config"
          value: "/usr/share/logstash/pipeline"
        - name: "xpack.monitoring.elasticsearch.hosts"
          value: "http://elasticsearch-0.elasticsearch-cluster.elk.svc.cluster.local:9200"
        volumeMounts:
        - name: config
          mountPath: /usr/share/logstash/pipeline/logstash.conf
          readOnly: true
          subPath: logstash.conf
        - mountPath: /etc/localtime
          readOnly: true
          name: tz-config
      volumes:
      - name: config
        configMap:
          name: logstash-config
      - name: tz-config
        hostPath:
          path: /etc/localtime

2.5 部署所有资源

[root@master1 Logstash]# ls
logstash-configmap.yaml  logstash-deployment.yaml  logstash-service.yaml
[root@master1 Logstash]# kubectl apply -f ./
configmap/logstash-config created
deployment.apps/logstash created
service/logstash created

2.6 检查Logstash Pod状态

[root@master1 Logstash]# kubectl get pod -n elk
NAME                        READY   STATUS    RESTARTS      AGE
elasticsearch-0             1/1     Running   1 (29m ago)   21h
filebeat-6db9l              1/1     Running   1 (29m ago)   22h
filebeat-qllxg              1/1     Running   1 (29m ago)   22h
filebeat-r5hw7              1/1     Running   1 (29m ago)   22h
kafka-0                     1/1     Running   1 (30m ago)   21h
logstash-6d88fd886d-2cg9p   1/1     Running   0             65s