技术栈

摘要： 一、Kafka Streams概述 官网文档：https://kafka.apache.org/32/documentation/streams/ 1）Kafka Streams是什么 Kafka Streams是一套客户端类库，它建立在重要的流处理概念之上，它可以对存储在Kafka内的数据进行流式 阅读全文

摘要： 一、概述 前面已经很详细的讲了kafka和zookeeper的安全机制和实现，如果它两配置了安全机制认证，EFAK作为监控kafka和zookeeper的图像化软件，必然也离不开对kafka和zookeeper安全认证的配置。 关于EFAK的介绍和安装部署可以参考我这篇文章：大数据Hadoop之—— 阅读全文

摘要： 一、概述 Kafka0.9.0开始引入丰富的安全认证机制，实现基础安全用户认证，将kafka上云或进行多租户管理的必要步骤安全，目前kafka支持SASL、SSL、Delegation Token这三种认证机制。而SASL认证又分为了以下几种方式： 1）SASL认证概述 SASL/GSSAPI：ke 阅读全文

摘要： 一、Zookeeper概述与安装 Zookeeper概述与安装请参考我之前的文章：分布式开源协调服务——Zookeeper Zookeeper的安装方式有两种，两种方式都会讲，其实大致配置都是一样的，只是少部分配置有一丢丢的区别。kafka的鉴权认证可以参考我之前的文章：大数据Hadoop之——Ke 阅读全文

摘要： 一、Kerberos概述与安装 Kerberos概述与安装可以参考我之前的文章：Kerberos认证原理与环境部署 二、Kafka Kerberos认证 Kafka安装可以参考我以前的文章： 大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署） 分布式开源协调服务——Zook 阅读全文

摘要： 一、概述 Kerberos是为TCP/IP网络系统设计的可信的第三方认证协议，用于身份认证。网络上的Keberos服务基于DES对称加密算法，但也可以用其他算法替代。因此，Keberos是一个在许多系统中获得广泛应用的认证协议。Keberos最初是美国麻省理工学院（MIT）为Athena项目开发的。 阅读全文

摘要： 一、概述 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也 阅读全文

摘要： 一、Kafka概述 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、st 阅读全文

摘要： 一、CNCF简介 CNCF：全称Cloud Native Computing Foundation（云原生计算基金会），成立于2015年12月11日，是一个开源软件基金会，它致力于云原生（Cloud Native）技术的普及和可持续发展。 成立CNCF这个组织的初衷或者愿景，简单说： 推动云原生计算 阅读全文

摘要： 一、Prometheus简介 Prometheus 最开始是由 SoundCloud 开发的开源监控告警系统，是 Google BorgMon 监控系统的开源版本。在 2016 年，Prometheus 加入 CNCF，成为继 Kubernetes 之后第二个被 CNCF 托管的项目。随着 Kube 阅读全文