spark_0108
Spark单节点部署
1. 找到安装文件
1 find / -name spark*.tgz
2. 解压文件到指定目录
1 tar -zxvf ~/experiment/file/spark-2.2.0-bin-hadoop2.7.tgz -C /opt
3. 重命名
1 mv /opt/spark-2.2.0-bin-hadoop2.7 /opt/spark
4. 配置环境变量
1 vim /etc/profile 2 3 #spark install 4 export SPARK_HOME=/opt/spark 5 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
5. 刷新环境变量
1 source /etc/profile
6. 测试
1 spark-shell
Spark交互式Shell
1. 启动
1 spark-shell
2.行数统计案例(Scala版本 )：读取Spark安装目录下的README.md文件，并统计个文件有多少行记录，同时并打印出文档的第一行记录
val lines = sc.textFile("/opt/spark/README.md") lines.count() lines.first()
3.统计README.md文件中spark出现的次数（不区分大小写），将含有spark的行写入到一个独立的文件，保存至/root/out目录中
1 val lines = sc.textFile("/opt/spark/README.md") 2 val res=lines.flatMap(_.split(" ")).map(_.toLowerCase).filter(_.contains("spark")) 3 res.count() 4 res.coalesce(1).saveAsTextFile("/root/out")
4.查看WebUI界面网址master:4040
1 lines.flatMap(.split(" ")).map(.toLowerCase).filter(.contains(“spark”)).count() 2 lines.map(.toLowerCase).filter(_.contains(“spark”)).saveAsTextFile("/root/out") 3 lines.map(.toLowerCase).filter(_.contains(“spark”)).coalesce(1).saveAsTextFile("/root/out") 4 5 #集群 6 #上传文件到集群 7 hdfs dfs -put /opt/XXX /sjw 8 val lines = sc.textFile("hdfs://master:8020/sjw/XXX") 9 lines.coalesce(1).saveAsTextFile("hdfs://master:8020/out")
-----------------------------------------------------------------------------------------------
-
创建RDD（P179）
通过外部数据创建：sc.textFile(data path) -
RDD转换（P180）
对数据集中的每个元素进行转换，一转多：flatMap
过滤：filter
对数据集中的每个元素进行转换：map
全部小写
组装成键值对(word,1)
聚合：reduceByKey
排序：sortBy
返回前n个元素：take(n) -
保存结果（P177）
通过集合Array创建RDD：sc.parallelize（P179）
合并为一个分区：coalesce(1)
把RDD保存为文本文件：saveAsTextFile(out path)
find / -name spark*.tgz tar -zxvf ~/experiment/file/spark-2.2.0-bin-hadoop2.7.tgz -C /opt mv /opt/spark-2.2.0-bin-hadoop2.7 /opt/spark vim /etc/profile #spark install export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin source /etc/profile spark-shell val lines = sc.textFile("/opt/spark/README.md") lines.count() lines.first() val lines = sc.textFile("/opt/spark/README.md") val res=lines.flatMap(_.split(" ")).map(_.toLowerCase).filter(_.contains("spark")) res.count() res.coalesce(1).saveAsTextFile("/root/out") lines.flatMap(.split(" ")).map(.toLowerCase).filter(.contains(“spark”)).count() lines.map(.toLowerCase).filter(_.contains(“spark”)).saveAsTextFile("/root/out") lines.map(.toLowerCase).filter(_.contains(“spark”)).coalesce(1).saveAsTextFile("/root/out") #上传文件到集群 start-dfs.sh hdfs dfs -put /opt/XXX /sjw val lines = sc.textFile("hdfs://master:8020/sjw/XXX") lines.coalesce(1).saveAsTextFile("hdfs://master:8020/out")
val res=lines.flatMap(_.split(" ")).filter(_.length>=3).filter(_.length<=10).map(_.toLowerCase).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).take(3)
sc.parallelize(res).coalesce(1).saveAsTextFile("/root/sjw")
