摘要: 数据预处理: 读取数据: import pandas as pd data=pd.read_csv(r'C:\Users\Administrator\Desktop\insurance.csv',encoding=('utf-8')) 筛选数据: # 去除噪点 data_1 = data.query 阅读全文
posted @ 2021-09-17 22:44 Theext 阅读(87) 评论(0) 推荐(0)
摘要: 本地模式 import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val conf = new SparkCon 阅读全文
posted @ 2021-09-02 19:50 Theext 阅读(33) 评论(0) 推荐(0)
摘要: 空 阅读全文
posted @ 2021-09-02 18:04 Theext 阅读(43) 评论(0) 推荐(0)
摘要: 空 阅读全文
posted @ 2021-09-02 18:01 Theext 阅读(22) 评论(0) 推荐(0)
摘要: 提供Java编程的基本语句,方便查阅编程的代码格式: import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class tr { public static void main(Stri 阅读全文
posted @ 2021-09-02 18:00 Theext 阅读(244) 评论(0) 推荐(0)
摘要: Hadoop官方文档:https://hadoop.apache.org/docs/r1.0.4/cn/ Spark官方文档 :http://spark.apachecn.org/#/ HDFS端口: 参数 描述 默认 配置文件 例子值 fs.default.name namenode nameno 阅读全文
posted @ 2021-08-31 17:27 Theext 阅读(101) 评论(0) 推荐(0)
摘要: 预先注意事项: 注意事项:文章中的文件路径可能与读者的文件路径存在差异,希望读者可以自行发现,自行解决。 阅读本文章前,需要预先部署好Hadoop平台,因为后续编程需要使用Hadoop的存储机制HDFS。 详细的hadoop安装步骤可以参考本人文章: https://www.cnblogs.com/ 阅读全文
posted @ 2021-08-31 16:04 Theext 阅读(210) 评论(0) 推荐(0)
摘要: 预先注意事项: 注意事项:文章中的文件路径可能与读者的文件路径存在差异,希望读者可以自行发现,自行解决。 需要对应版本!!!否则会出现不兼容的现象 Ubuntu 官网:https://ubuntu.com/download/desktop Hadoop官网:https://hadoop.apache 阅读全文
posted @ 2021-08-31 14:44 Theext 阅读(501) 评论(0) 推荐(0)