随笔分类 -  Kafka

kafka 常见面试题+知识点汇总
摘要：1 什么是kafka Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。 2 为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰：上游数据时有突发 阅读全文
posted @ 2019-10-07 00:31 Transkai 阅读(1028) 评论(0) 推荐(0)
Kafka 与flume的整合
摘要：flume与kafka的整合 第一步：配置flume的conf文件 TaildirSource-kafka.conf agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1 agent1.sources.sourc 阅读全文
posted @ 2019-05-16 20:04 Transkai 阅读(1144) 评论(0) 推荐(0)
Kafka Java API+自定义分区
摘要：kafka的API 第一步：导入kafka的开发jar包 <dependencies> <dependencies> <!-- <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId 阅读全文
posted @ 2019-05-16 19:29 Transkai 阅读(3289) 评论(0) 推荐(1)
Kafka 命令行操作topic+producer+consumer详解
摘要：Kafka命令行操作 //启动kafka服务，三台主机分别输入此指令： kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup kafka-server-start.sh $KAFKA_HOME/co 阅读全文
posted @ 2019-05-16 18:29 Transkai 阅读(13822) 评论(0) 推荐(0)
Kafka 配置文件说明
摘要：kafka的配置文件说明 Server.properties配置文件说明 #broker的全局唯一编号，不能重复 broker.id=0 #用来监听链接的端口，producer或consumer将在此端口建立连接 port=9092 #处理网络请求的线程数量 num.network.threads= 阅读全文
posted @ 2019-05-16 17:54 Transkai 阅读(663) 评论(0) 推荐(0)
Kafka 架构模型
摘要：1、kafka的架构模型 基于producer consumer topic broker 等的一个基本架 kafka的组件介绍 Topic ：消息根据Topic进行归类 Producer：发送消息者 Consumer：消息接受者 broker：每个kafka实例(server) Zookeeper 阅读全文
posted @ 2019-05-16 17:44 Transkai 阅读(1128) 评论(0) 推荐(0)
Kafka 简介及Centos 6.5环境下的安装
摘要：kafka简介官网：它是一个分布式的流处理平台 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处 阅读全文
posted @ 2019-05-16 00:48 Transkai 阅读(322) 评论(0) 推荐(0)