随笔分类 -  Kafka学习

阿里云ECS大数据环境搭建
摘要：背景 原本自己都是使用笔记本的虚拟机来搭建大数据环境，调试代码，运行项目。但自己的笔记本是13寸的，屏幕很小，经常由于要打开多个终端，同时辅以网页，造成小小的屏幕里有很多窗口，体验极差。 有想过通过外接大显示屏来解决，但显示屏固定连接了自己的游戏本。等于宿舍里操作游戏本，实验室操作台式机，平时背着轻 阅读全文
posted @ 2020-07-03 15:07 Tanglement 阅读(665) 评论(0) 推荐(1)
电信客服_Kafka消费者写入HBase
摘要：流程 kafka配置 创建消费者 关注主题ct 获取数据 将数据写入HBase consumer.properties是kafka集群的配置信息，calllog是数据封装对象。 写入HBase具体代码 https://www.cnblogs.com/chenshaowei/p/12736522.ht 阅读全文
posted @ 2020-04-20 10:55 Tanglement 阅读(383) 评论(0) 推荐(0)
Flume采集文件数据到Kafka
摘要：采集文件call.log的数据到kafka，并从kafka消费者控制台获取数据。 flume+kafka是目前大数据很经典的日志采集工具。文件数据通过flume采集，通过kafka进行订阅发布并缓存，很适合充当消息中间件。 准备工作 启动zookeeper,kafka集群 在kafka创建ct主题， 阅读全文
posted @ 2020-04-12 14:40 Tanglement 阅读(3532) 评论(0) 推荐(0)
Kafka集群搭建
摘要：kafka安装前提 需要安装对应版本的scala，jdk，zookeeper 安装步骤 解压 改名+增加权限 建立日志存放路径 更改配置文件server.properties 配置环境变量 将/kafka目录分发给其他节点hadoop2,hadoop3 需要在各自的配置文件server.proper 阅读全文
posted @ 2020-04-07 20:51 Tanglement 阅读(236) 评论(0) 推荐(0)
深入Kafka
摘要：集群成员关系 Kafka使用zookeeper来维护集群成员信息。每个broker都有一个唯一标识符broker.id。在broker启动时，它把自己的ID注册到zookeeper。Kafka组件订阅zookeeper的brokers/ids/路径，当有broker加入或退出集群时，这些组件就获得通 阅读全文
posted @ 2020-03-19 10:45 Tanglement 阅读(129) 评论(0) 推荐(0)
Kafka消费者
摘要：消费者和消费者群组 生产者往主题写入消息的速度超过了应用程序验证数据的速度。如果使用单个消费者处理消息，应用程序跟不上消息生成的速度。此时，有必要对消费者进行横向伸缩，我们可以使用多个消费者从同一个主题读取消息，对消息进行分流。 一个群组里的消费者订阅同一个主题，每个消费者接收主题的一部分分区的消息 阅读全文
posted @ 2020-03-18 15:57 Tanglement 阅读(349) 评论(0) 推荐(0)
Kafka生产者
摘要：开发者可以使用Kafka内置的客户端API开发应用程序 生产者 一个应用程序往kafka写入消息：记录用户的活动、记录度量指标、保存日志消息、记录智能家电的信息、与其他应用程序进行异步通信等 发送消息流程 创建一个ProducerRecord对象开始，ProducerRecord对象需要包含目标to 阅读全文
posted @ 2020-03-17 21:44 Tanglement 阅读(224) 评论(0) 推荐(0)
Kafka概述
摘要：将生产者和消费者解耦 使用消息队列的好处 解耦：允许你独立的扩展或修改两边的处理过程，只要确保他们遵守同样的接口约束 可恢复性：系统一部分组件失效时，不会影响到整个系统，降低了进程间的耦合度 缓冲：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息处理速度不一致的情况 异步通信 Kafka 阅读全文
posted @ 2020-03-17 21:42 Tanglement 阅读(213) 评论(0) 推荐(0)