随笔分类 -  Scala&Spark

Kafka集群搭建
摘要：一、准备kafka 1.1 zookeeper 官网下载地址：http://mirror.bit.edu.cn/apache/zookeeper/ 准备好kafka安装包，官网下载地址：http://kafka.apache.org/downloads.html 我用的：kafka_2.11-0.1 阅读全文
posted @ 2020-04-29 11:25 THEROC 阅读(440) 评论(0) 推荐(0)
Spark之RDD算子练习
摘要：一、Transformation算子练习 一、map(func) 说明:返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 scala> var source = sc.parallelize(1 to 10) source: org.apache.spark.rdd.RDD[I 阅读全文
posted @ 2020-04-22 16:02 THEROC 阅读(290) 评论(0) 推荐(0)
linux之Spark集群安装
摘要：一、准备 1.1 先搭建好hadoop集群，参考https://www.cnblogs.com/the-roc/p/12362926.html 1.2 配置好 Java 1.8环境（hadoop集群搭建时就配置过） 1.3 准备好和hadoop版本一样的jar包 scala-2.13.0.tgz s 阅读全文
posted @ 2020-04-17 10:18 THEROC 阅读(491) 评论(0) 推荐(0)