哥不是小萝莉

摘要： 1.概述 最近有很多同学给笔者留言，说在安装Kafka Eagle的时候，会遇到一些问题，请教如何解决？今天笔者就在这里总结一下安装步骤，和一些安装的注意事项，以及解决方式。 2.内容 在安装Kafka Eagle之前，可能新接触的同学对Kafka Eagle不太了解，那我们现在简要介绍一下Kafk 阅读全文

摘要： 1.概述 最近和一些同学交流的时候反馈说，在面试Kafka时，被问到Kafka组件组成部分、API使用、Consumer和Producer原理及作用等问题都能详细作答。但是，问到一个平时不注意的问题，就是Kafka的幂等性，被卡主了。那么，今天笔者就为大家来剖析一下Kafka的幂等性原理及实现。 2 阅读全文

摘要： 1.概述 HBase是一款非关系型、分布式的KV存储数据库。用来存储海量的数据，用于键值对操作。目前HBase是原生是不包含SQL操作，虽然说Apache Phoenix可以用来操作HBase表，但是需要集成对应的Phoenix依赖包到HBase集群中，同时需要编写对应的Schema才能实现SQL操 阅读全文

摘要： 1.概述 在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢？今天笔者就给大家来分享一下具体的实 阅读全文

摘要： 1.概述 目前Kafka ACL支持多种权限认证，今天笔者给大家介绍一下SCRAM和PLAIN的权限认证。验证环境如下： JDK：1.8 Kafka：2.3.0 Kafka Eagle：1.3.8 2.内容 2.1 PLAIN认证 首先，在$KAFAK_HOME/config目录新建一个文本文件，名 阅读全文

摘要： 1.概述 Kafka Eagle是一款开源的Kafka集群监控系统，源代码托管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已经统一更新为http://www.kafka-eagle.org/，之前的下载地址和官网使用手册地址均已替换，例如http://download.s 阅读全文

摘要： 1.前言 在大数据时代，Hadoop有着得天独厚的优势。然而，每个企业的技术储备和需求特点不同，他们希望从海量的客户数据中挖掘真正的商业价值，像Google、Facebook、Twitter等这样的企业更是Hadoop的最早获益者。那么，今天我们就来聊一聊，万亿数据下Hadoop的核心竞争力。 2. 阅读全文

摘要： 1.前言 目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择？Flink or Spark？ 2.为何需要实时计算？ 根据IBM的统计报告显示，过去两 阅读全文

摘要： 1.前言 Apache Kafka发展至今，已经是一个很成熟的消息队列组件了，也是大数据生态圈中不可或缺的一员。Apache Kafka社区非常的活跃，通过社区成员不断的贡献代码和迭代项目，使得Apache Kafka功能越发丰富、性能越发稳定，截止本篇博客Apache Kafka发布了V2.2.0 阅读全文

摘要： 1.概述 Hadoop3已经发布很久了，迭代集成的一些新特性也是很有用的。截止本篇博客书写为止，Hadoop发布了3.2.0。接下来，笔者就为大家分享一下在使用Hadoop3中遇到到一些问题，以及解决方法。 2.内容 2.1 基础软件包 在使用这些组件时，我们需要做一些准备工作，内容如下： Hado 阅读全文