摘要: 一、如果vb虚拟机设置是桥接方式 ·在虚拟机终端输入ifconfig查找虚拟机IP,然后在fz软件中这个位置输入:(注意:虚拟机没有网是显示不出地址的) 二、如果vb虚拟机设置是NAT连接方式 第一步:在vb设置中 第二步:在FZ软件中 阅读全文
posted @ 2021-05-09 20:31 almir 阅读(151) 评论(0) 推荐(0) 编辑

2021年6月23日

摘要: 数据分析tableua的安装破解 作者:pennywang链接:https://www.jianshu.com/p/09aeb1e3ada6 转自:https://www.cnblogs.com/-wenli/p/12587433.html 博主:-零 介绍 Tableau Desktop Pro 阅读全文
posted @ 2021-06-23 21:22 almir 阅读(755) 评论(0) 推荐(0) 编辑

2021年6月7日

摘要: https://www.cnblogs.com/ayzy/p/14857550.html 07从RDD创建DataFram 原因:忘记提交了 https://www.cnblogs.com/ayzy/p/14856353.html 09spark连接mysql数据库 原因:忘记提交了 大作业: 1. 阅读全文
posted @ 2021-06-07 16:45 almir 阅读(31) 评论(0) 推荐(0) 编辑
 
摘要: 07从RDD创建DataFram 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.c 阅读全文
posted @ 2021-06-07 09:29 almir 阅读(47) 评论(0) 推荐(0) 编辑
 
摘要: spark连接mysql数据库 1、安装启动检查Mysql服务。 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars park读取MySQL数据库 阅读全文
posted @ 2021-06-07 09:21 almir 阅读(29) 评论(0) 推荐(0) 编辑

2021年5月27日

摘要: 08 学生课程分数的Spark SQL分析 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大 阅读全文
posted @ 2021-05-27 18:09 almir 阅读(51) 评论(0) 推荐(0) 编辑

2021年5月10日

摘要: 06 Spark SQL 及其DataFrame的基本操作 1.Spark SQL出现的 原因是什么? 随着Spark的发展,对于野心勃勃的Spark团队来说,Shark对于Hive的太多依赖(如采用Hive的语法解析器、查询优化器等等),制约了Spark的One Stack Rule Them A 阅读全文
posted @ 2021-05-10 21:21 almir 阅读(34) 评论(0) 推荐(0) 编辑

2021年4月12日

摘要: 06 RDD编程 二、学生课程分数案例 1.总共有多少学生?map(), distinct(), count() 2.开设了多少门课程? 3.每个学生选修了多少门课?map(), countByKey() 4.每门课程有多少个学生选?map(), countByValue() 5.Tom选修了几门课 阅读全文
posted @ 2021-04-12 21:59 almir 阅读(52) 评论(0) 推荐(0) 编辑

2021年4月5日

摘要: 05 RDD练习:词频统计,学习课程分数 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频  阅读全文
posted @ 2021-04-05 21:31 almir 阅读(63) 评论(0) 推荐(0) 编辑

2021年3月31日

摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
posted @ 2021-03-31 21:10 almir 阅读(58) 评论(0) 推荐(0) 编辑