随笔分类 -  Spark入门学习

kafka安装
摘要：1.将kafka上传至3台服务器 kafka下载路径：http://kafka.apache.org/downloads 解压到对应的目录：tar -zxvf kafka_2.11-0.10.1.0.tgz -C /opt/software/ 2.配置环境变量 添加环境变量 export KAFKA 阅读全文
posted @ 2020-04-28 16:41 itch 阅读(209) 评论(0) 推荐(0)
Spark之RDD编程
摘要：Transformation算子练习 map(func) 说明：返回一个新的RDD，该RDD由每一个输入元素结果func函数转换后组成 mapPartitions(func) 类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[ 阅读全文
posted @ 2020-04-22 17:51 itch 阅读(297) 评论(0) 推荐(0)