随笔分类 - 大数据技术
摘要:本地模式 import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val conf = new SparkCon
阅读全文
摘要:预先注意事项: 注意事项:文章中的文件路径可能与读者的文件路径存在差异,希望读者可以自行发现,自行解决。 阅读本文章前,需要预先部署好Hadoop平台,因为后续编程需要使用Hadoop的存储机制HDFS。 详细的hadoop安装步骤可以参考本人文章: https://www.cnblogs.com/
阅读全文
摘要:预先注意事项: 注意事项:文章中的文件路径可能与读者的文件路径存在差异,希望读者可以自行发现,自行解决。 需要对应版本!!!否则会出现不兼容的现象 Ubuntu 官网:https://ubuntu.com/download/desktop Hadoop官网:https://hadoop.apache
阅读全文