2015 年 11月 28 日随笔档案 - 松伯

2015年11月28日

摘要： createStream那几个参数折腾了我好久。。网上都是一带而过,最终才搞懂..关于sparkStreaming的还是太少，最终尝试成功。。。首先启动zookeeper./bin/zookeeper-server-start.sh config/zookeeper.properties &启动ka... 阅读全文

posted @ 2015-11-28 21:41 松伯阅读(1291) 评论(0) 推荐(0)

spark RDD transformation与action函数整理

摘要： 1.创建RDDval lines = sc.parallelize(List("pandas","i like pandas"))2.加载本地文件到RDDval linesRDD = sc.textFile("yangsy.txt")3.过滤 filter 需要注意的是 filter并不会在原有RD... 阅读全文

posted @ 2015-11-28 13:30 松伯阅读(2018) 评论(0) 推荐(0)