2021年4月1日
spark实时消费kafka（有状态转换）
通过flume将日志数据读取到kafka中，然后再利用spark去消费kafka的数据， 1.保证zookeeper服务一直开启 2.配置flume文件，其配置信息如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configu Read More
posted @ 2021-04-01 17:57 欣欣姐 Views(393) Comments(0) Diggs(0)
spark 消费kafka的数据
通过flume将日志数据读取到kafka中，然后再利用spark去消费kafka的数据， 1.保证zookeeper服务一直开启 2.配置flume文件，其配置信息如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configu Read More
posted @ 2021-04-01 15:25 欣欣姐 Views(1110) Comments(0) Diggs(0)