随笔分类 -  Kafka

摘要:整合Kafka两种模式说明 ★面试题:Receiver & Direct 开发中我们经常会利用SparkStreaming实时地读取kafka中的数据然后进行处理,在spark1.3版本后,kafkaUtils里面提供了两种创建DStream的方法: 1.Receiver接收方式: KafkaUti 阅读全文
posted @ 2019-09-14 21:08 DaBai的黑屋 阅读(1744) 评论(0) 推荐(0)
摘要: 阅读全文
posted @ 2019-09-11 00:20 DaBai的黑屋 阅读(132) 评论(0) 推荐(0)
摘要:●kafka文档 Kafka Connect: <!--more--> https://kafka.apache.org/documentation/#connect http://docs.confluent.io/2.0.0/connect/connect-jdbc/docs/index.htm 阅读全文
posted @ 2019-09-11 00:19 DaBai的黑屋 阅读(175) 评论(0) 推荐(0)
摘要:●常用命令 #启动kafka /export/servers/kafka/bin/kafka-server-start.sh -daemon /export/servers/kafka/config/server.properties #停止kafka /export/servers/kafka/b 阅读全文
posted @ 2019-09-11 00:18 DaBai的黑屋 阅读(315) 评论(0) 推荐(0)
摘要:Kafka架构 ●核心概念图解 注意: 一个Topic可以被多个消费者或者组订阅,一个消费者/组也可以订阅多个主题 注意: 读数据只能从Leader读,写数据也只能往Leader写,Follower会从Leader那里同步数据过来做副本!!! 阅读全文
posted @ 2019-09-11 00:17 DaBai的黑屋 阅读(151) 评论(0) 推荐(0)

Live2D