jsqup

2022年9月8日

摘要： Spark Streaming只能充当Kafka的消费者 Spark Steaming整合Kafka数据，读取Kafka数据有两种方式 1、Receiver（使用Spark中接受器去处理Kafka的数据）方法连接zookeeper集群读取数据仅作了解（被淘汰） 2、Direct方法--直连kaf 阅读全文

posted @ 2022-09-08 10:20 jsqup 阅读(70) 评论(0) 推荐(0)

sparkstreming整合kafka(Spark Streaming相当于是Kafka的一个消费者)

摘要：引入pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文

posted @ 2022-09-08 10:13 jsqup 阅读(113) 评论(0) 推荐(0)

kafka与flume整合(kafka充当source,sink,channel)

摘要： 1. Kafka充当Flume的source数据源，此时也就意味着Flume需要采集Kafka的数据，Flume相当于是kafka的一个消费者 .conf文件(KafkaToConsole.conf) #sources别名:r1 a1.sources = r1 #sink别名:k1 a1.sinks 阅读全文

posted @ 2022-09-08 09:45 jsqup 阅读(376) 评论(0) 推荐(0)

2022年9月7日

6. kafka案例--将控制台输入的每一行数据发送到Kafka中进行存储

摘要：案例要求 /** * 要求将控制台输入的每一行数据发送到Kafka中进行存储 * 输入的每一行数据形式如下 * s001 zs 20 男 * s002 ls 21 女 * 要求将数据发送到我们的kafka的student主题中同时要求发送的数据以学生编号为key，以学生信息为value形式进行数据阅读全文

posted @ 2022-09-07 22:46 jsqup 阅读(132) 评论(0) 推荐(0)

5. 消费者消费数据