06 2020 档案
大数据第十五周 Spark编程基础实例——wordCount编程
摘要:第十五周 Spark编程基础实例——wordCount编程Shell下编写wordCount测试文件 创建一个本地文件word.txt,内含多行文本,每行文本由多个单词构成,单词之间用空格分隔,编写spa... 阅读全文
posted @ 2020-06-10 19:01 蔡军帅 阅读(201) 评论(0) 推荐(0)
大数据第十五周 Spark编程基础实例——wordCount编程
摘要:第十五周 Spark编程基础实例——wordCount编程 Shell下编写wordCount 测试文件 创建一个本地文件word.txt,内含多行文本,每行文本由多个单词构成,单词之间用空格分隔,编写spark程序统计每个单词出现的次数。 打开spark-shell 导入数据 scala> val 阅读全文
posted @ 2020-06-10 19:01 蔡军帅 阅读(695) 评论(0) 推荐(0)
大数据第十四周——Spark编程(RDD编程)
摘要:第十五周 Spark编程基础 启动集群并检查Spark 基于上周未完成部分,这周补上。直接输入以下命令, ~/spark-2.4.5/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster ~/spark-2.4.5/examples/jars/spark-examples_2.11-2.... 阅读全文
posted @ 2020-06-02 21:28 蔡军帅 阅读(505) 评论(0) 推荐(0)
大数据第十四周——Spark编程(RDD编程)
摘要:第十五周 Spark编程基础启动集群并检查Spark 基于上周未完成部分,这周补上。直接输入以下命令, ~/spark-2.4.5/bin/spark-submit --class org.apache.... 阅读全文
posted @ 2020-06-02 21:28 蔡军帅 阅读(143) 评论(0) 推荐(0)