随笔分类 -  大数据技术

摘要:本地模式 import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val conf = new SparkCon 阅读全文
posted @ 2021-09-02 19:50 Theext 阅读(33) 评论(0) 推荐(0)
摘要:预先注意事项: 注意事项:文章中的文件路径可能与读者的文件路径存在差异,希望读者可以自行发现,自行解决。 阅读本文章前,需要预先部署好Hadoop平台,因为后续编程需要使用Hadoop的存储机制HDFS。 详细的hadoop安装步骤可以参考本人文章: https://www.cnblogs.com/ 阅读全文
posted @ 2021-08-31 16:04 Theext 阅读(210) 评论(0) 推荐(0)
摘要:预先注意事项: 注意事项:文章中的文件路径可能与读者的文件路径存在差异,希望读者可以自行发现,自行解决。 需要对应版本!!!否则会出现不兼容的现象 Ubuntu 官网:https://ubuntu.com/download/desktop Hadoop官网:https://hadoop.apache 阅读全文
posted @ 2021-08-31 14:44 Theext 阅读(501) 评论(0) 推荐(0)