随笔分类 - ELK
摘要:解剖 Elasticsearch 集群 之三 本篇文章是一系列涵盖 Elasticsearch 底层架构和原型示例的其中一篇。在本篇文章中,我们会讨论 Elasticsearch 如何提供准实时搜索以及如何在搜索相关度计算与延迟间权衡。 在之前的文章中,我们讨论了 Elasticsearch 如何应
阅读全文
摘要:解剖 Elasticsearch 集群 之二 本篇文章是一系列涵盖 Elasticsearch 底层架构和原型示例的其中一篇。在本篇文章中,我们会讨论 Elasticsearch 是如何处理 3C 问题的(共识性、并发性和一致性)以及分片的内部概念如 translog(Write Ahead Log
阅读全文
摘要:ELK 性能(4) — 大规模 Elasticsearch 集群性能的最佳实践 介绍 集群规模 集群数:6 整体集群规模: 300 Elasticsearch 实例 141 物理服务器 4200 CPU 核心 38TB RAM 1.5 Pb 存储 索引日志: 100 亿/天 400k/秒 内容 开场
阅读全文
摘要:ELK 性能(3) — 在 Docker 上运行高性能容错的 Elasticsearch 集群 介绍 在 Docker 上运行高性能容错的 Elasticsearch 集群 内容 通常熟悉的开发流程是: 开发环境(Dev) 测试环境(Test) 质量环境(QA) 生产环境(Production En
阅读全文
摘要:ELK 性能(2) — 如何在大业务量下保持 Elasticsearch 集群的稳定 介绍 如何在大业务量下保持 Elasticsearch 集群的稳定? 内容 当我们使用 Elasticsearch 时,期望获得的是 集群的问题 快速的搜索 设想我们有一个论坛的数据需要索引存储到 Elastics
阅读全文
摘要:ELK 性能(1) — Logstash 性能及其替代方案 介绍 当谈及集中日志到 Elasticsearch 时,首先想到的日志传输(log shipper)就是 Logstash。开发者听说过它,但是不太清楚它具体是干什么事情的: 当深入这个话题时,我们才明白集中存储日志通常隐含着很多的事情,L
阅读全文
摘要:ELK Stack (2) —— ELK + Redis收集Nginx日志 摘要 使用Elasticsearch、Logstash、Kibana与Redis(作为缓冲区)对Nginx日志进行收集 版本 elasticsearch版本: elasticsearch 2.2.0 logstash版本:
阅读全文
摘要:ELK Stack (1) —— ELK + Redis安装 摘要 安装Elasticsearch、Logstash、Kibana与Redis以实现一个日志收集平台 版本 elasticsearch版本: elasticsearch 2.2.0 logstash版本: logstash 2.2.2
阅读全文