10 期末大作业

02 Spark架构与运行流程      https://www.cnblogs.com/zhengshiguang/p/14854161.html  

04 RDD编程练习    https://www.cnblogs.com/zhengshiguang/p/14854166.html

05 RDD练习：词频统计，学习课程分数    cnblogs.com/zhengshiguang/p/14854170.html

07 从RDD创建DataFrame   https://www.cnblogs.com/zhengshiguang/p/14854179.html

缺交原因：

没留意好时间，导致错过了

 

大作业：

1.选择使用什么数据，有哪些字段，多大数据量。
爬取python职位相关的数据信息
薪资 城市分布 学历要求等
2.准备分析哪些问题，可视化方式？（8个以上）

1.python薪资 柱状图

2.公司规模 饼图

3.城市分布 柱状图

4.工作经验 柱状图

5.学历要求 饼状图

6.区域 柱状图

7.绘制python福利相关的词云

8.职位的地理位置 饼状图

3.当前进展。
已有数据