ELK Stack 实战部署指南：从零构建企业级日志系统

一、ELK 核心组件解析

ELK Stack 是 Elasticsearch、Logstash 和 Kibana 三大开源工具的组合，构成了一套完整的日志收集、存储、分析和可视化解决方案。

1. 组件功能对比

组件	角色定位	类比生态工具	核心功能
Elasticsearch	分布式搜索分析引擎	HBase/Solr	数据存储、索引和快速检索
Logstash	数据收集处理管道	Flume	日志收集、过滤和转发
Kibana	数据可视化平台	Grafana	数据分析和仪表盘展示
Filebeat	轻量级日志采集器	Flume spooldir	客户端日志收集和传输

2. 生产环境推荐版本

Elasticsearch 7.16.2 (LTS版本)
Logstash 7.16.2
Kibana 7.16.2
Filebeat 7.16.2

版本一致性原则：保持所有组件版本一致，避免兼容性问题

二、系统架构设计

1. 推荐拓扑架构

[Client Servers] → [Filebeat] → [Kafka Cluster] → [Logstash] → [ES Cluster] ← [Kibana]
                   ↑
                SSL证书认证

2. 生产环境配置建议

• 硬件配置：

  • ES节点：16核CPU/32GB内存/SSD存储（建议单独部署）
  • Logstash节点：8核CPU/16GB内存
  • Kafka集群：作为缓冲层，防止数据丢失

• 高可用设计：

  • ES至少3个master节点 + 多个data节点
  • Logstash部署多个实例实现负载均衡

三、详细部署步骤（CentOS 7优化版）

1. 基础环境准备

# 关闭SELinux和防火墙
sudo setenforce 0
sudo sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 优化系统参数
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p

# 创建专用用户
sudo groupadd elk
sudo useradd -g elk elk

2. Elasticsearch集群部署

节点配置 (/etc/elasticsearch/elasticsearch.yml)：

cluster.name: elk-prod
node.name: ${HOSTNAME}
path.data: /data/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["node1", "node2", "node3"]
cluster.initial_master_nodes: ["node1", "node2", "node3"]
bootstrap.memory_lock: true

JVM调优 (/etc/elasticsearch/jvm.options)：

-Xms16g
-Xmx16g

启动服务：

sudo mkdir -p /data/elasticsearch
sudo chown -R elk:elk /data/elasticsearch
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

3. Logstash优化配置

管道配置文件 (/etc/logstash/conf.d/pipeline.conf)：

input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/etc/pki/tls/certs/logstash.crt"
    ssl_key => "/etc/pki/tls/private/logstash.key"
  }
}

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
  }
  date {
    match => [ "timestamp", "ISO8601" ]
  }
}

output {
  elasticsearch {
    hosts => ["http://es-node1:9200", "http://es-node2:9200"]
    index => "applogs-%{+YYYY.MM.dd}"
  }
}

性能调优 (/etc/logstash/logstash.yml)：

pipeline.workers: 8
pipeline.batch.size: 1000
pipeline.batch.delay: 50

4. Kibana安全配置

Nginx反向代理配置：

server {
    listen 80;
    server_name kibana.example.com;
    
    auth_basic "Kibana Access";
    auth_basic_user_file /etc/nginx/conf.d/kibana.htpasswd;
    
    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
    
    # 启用HTTPS
    listen 443 ssl;
    ssl_certificate /etc/ssl/certs/kibana.crt;
    ssl_certificate_key /etc/ssl/private/kibana.key;
}

四、Filebeat高级配置

1. 多行日志处理

filebeat.inputs:
- type: log
  paths:
    - /var/log/app/*.log
  multiline.pattern: '^\['
  multiline.negate: true
  multiline.match: after

2. 负载均衡输出

output.logstash:
  hosts: ["logstash1:5044", "logstash2:5044"]
  loadbalance: true

3. 资源限制

queue.mem:
  events: 4096
  flush.min_events: 512
  flush.timeout: 5s

五、生产环境运维要点

1. 索引生命周期管理（ILM）

PUT _ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50GB",
            "max_age": "7d"
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

2. 监控告警配置

使用Kibana内置的Alerting功能设置：

• ES节点磁盘空间不足告警
• Logstash处理延迟告警
• 错误日志关键词告警

3. 备份恢复策略

使用快照API：

# 创建仓库
PUT _snapshot/my_backup
{
  "type": "fs",
  "settings": {
    "location": "/mnt/backups/elasticsearch"
  }
}

# 创建快照
PUT _snapshot/my_backup/snapshot_1?wait_for_completion=true

六、性能优化技巧

1. ES索引优化：

   • 合理设置分片数（建议每个分片20-40GB）
   • 使用索引模板统一配置
   • 关闭不需要的字段索引

2. Logstash管道优化：

   • 使用grok失败时添加tag标记
   • 合理使用mutate过滤器减少字段
   • 启用持久化队列防止数据丢失

3. Kibana优化：

   • 配置合适的索引模式
   • 使用TSVB替代传统可视化图表
   • 定期清理无用仪表盘

七、常见问题解决方案

问题1：ES节点OOM崩溃

解决方案：

# 调整JVM堆大小不超过物理内存的50%
vim /etc/elasticsearch/jvm.options
-Xms16g
-Xmx16g

# 启用swap（临时方案）
sudo swapon -a

问题2：Logstash管道阻塞

排查命令：

# 查看管道状态
GET _node/stats/pipeline

# 检查队列积压
GET _node/stats/queue

问题3：Kibana仪表盘加载慢

优化方案：

1. 减少单个仪表盘可视化数量
2. 使用时间范围选择器限制数据量
3. 优化ES查询DSL

八、安全加固措施

1. 启用X-Pack安全功能：

   xpack.security.enabled: true
   xpack.security.transport.ssl.enabled: true
   

2. 基于角色的访问控制：

   # 创建只读角色
   POST _security/role/read_only
   {
     "indices": [
       {
         "names": ["*"],
         "privileges": ["read"]
       }
     ]
   }
   

3. 审计日志配置：

   xpack.security.audit.enabled: true
   xpack.security.audit.logfile.events.include: "access_denied,anonymous_access_denied"
   

本指南基于生产环境最佳实践整理，实际部署时请根据业务需求调整配置参数。建议先在测试环境验证后再上线生产环境。