2021 年 6月 7 日随笔档案 - 牛哈哈呀

2021年6月7日

摘要： 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文

posted @ 2021-06-07 21:42 牛哈哈呀阅读(47) 评论(0) 推荐(0) 编辑

09 spark连接mysql数据库

摘要：一、spark连接mysql数据库 1.安装启动检查Mysql服务。　netstat -tunlp (3306) 2.spark 连接mysql驱动程序。　–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/s 阅读全文

posted @ 2021-06-07 21:41 牛哈哈呀阅读(26) 评论(0) 推荐(0) 编辑

10 期末大作业

摘要：查漏补缺： 07 从RDD创建DataFrame 09 spark连接mysql数据库（忘记交了）大作业： 1.选择使用什么数据，有哪些字段，多大数据量。选择使用美国疫情数据；有日期、县、州、确诊人数、死亡人数 2.准备分析哪些问题？（8个以上）美国每日的累计确诊病例数和死亡数美国每日的新阅读全文

posted @ 2021-06-07 21:40 牛哈哈呀阅读(30) 评论(0) 推荐(0) 编辑