| | | | |

2016年7月27日

摘要： java核心代码 JavaPairDStream<String, Integer> wordCounts = pair.updateStateByKey(new Function2<List<Integer>, Optional<Integer>, Optional<Integer>>() { @O 阅读全文

posted @ 2016-07-27 16:07 呢喃的歌声阅读(253) 评论(0) 推荐(0)

spark Streaming的Receiver和Direct的优化对比

摘要： Direct 1、简化并行读取：如果要读取多个partition，不需要创建多个输入DStream然后对它们进行union操作。Spark会创建跟Kafka partition一样多的RDD partition，并且会并行从Kafka中读取数据。所以在Kafka partition和RDD part 阅读全文

posted @ 2016-07-27 11:14 呢喃的歌声阅读(439) 评论(0) 推荐(0)

创建kafkatopic和productor

摘要： cd 到kafka 目录下创建topic create topicbin/kafka-topics.sh --zookeeper spark1:2181,spark2:2181,spark3:2181 --topic WordCount --replication-factor 1 --parti 阅读全文

posted @ 2016-07-27 10:11 呢喃的歌声阅读(469) 评论(0) 推荐(0)

2016年7月27日

公告