摘要：
在Flink运行完yarn 模式后，返回运行standalone模式运行时。经常会出现运行不成功情形。是因为运行完Yarn模式后在/tmp目录下会生成一个 .yarn-properties-root隐藏文件。需要把这个隐藏文件删除。程序才能在standalone模式下运行成功. 阅读全文
posted @ 2020-12-01 19:27
kpwong
阅读(331)
评论(0)
推荐(0)
摘要：
1源码demo package com.kpwong.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; 阅读全文
posted @ 2020-11-28 16:57
kpwong
阅读(900)
评论(0)
推荐(0)
摘要：
同步发送的意思就是，一条消息发送之后，会阻塞当前线程， 直至返回 ack。由于send方法返回的是一个 Future对象，根据 Futrue对象 的特点，我们也可以实现 同步发送的效果 ，只需在调用 Future对象的 get方法即可。 //发送数据 for(int i = 11 ;i <= 20; 阅读全文
posted @ 2020-11-28 16:22
kpwong
阅读(1636)
评论(0)
推荐(0)
摘要：
1：POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 2：自定义分区 pack 阅读全文
posted @ 2020-11-28 16:09
kpwong
阅读(500)
评论(0)
推荐(0)
摘要：
添加POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> API生产者(注意:to 阅读全文
posted @ 2020-11-28 14:13
kpwong
阅读(324)
评论(0)
推荐(0)
摘要：
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api 阅读全文
posted @ 2020-11-25 14:56
kpwong
阅读(595)
评论(0)
推荐(0)
摘要：
1）配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F 阅读全文
posted @ 2020-11-25 09:04
kpwong
阅读(162)
评论(0)
推荐(0)
摘要：
package com.kpwong.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org. 阅读全文
posted @ 2020-11-10 13:55
kpwong
阅读(322)
评论(0)
推荐(0)
摘要：
1:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/ 下载Hadoop安装包到本地并解压 2: https://github.com/srccodes/hadoop-common-2.2.0-bin 下载这包. 3: 将步骤2下载的bi 阅读全文
posted @ 2020-11-10 11:39
kpwong
阅读(365)
评论(0)
推荐(0)
摘要：
本脚本实现一个简单的三台机器分布式集群环境下的Hadoop一键启动。 1：在目录 /usr/local/bin下 touch xhp.sh 2: chmod 777 xhp.sh 3: 编辑 xhp.sh ZK:Zookeeper ZKFC:Zookeeper FailoverController 阅读全文
posted @ 2020-11-07 12:54
kpwong
阅读(775)
评论(0)
推荐(1)
浙公网安备 33010602011771号