2021年6月4日
09 spark连接mysql数据库
摘要： 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql 阅读全文
posted @ 2021-06-04 16:44 暴走的短腿猫 阅读(21) 评论(0) 推荐(0)
07 从RDD创建DataFrame
摘要： 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 Pandas Spark 工作方式 单机single machine tool， 阅读全文
posted @ 2021-06-04 16:43 暴走的短腿猫 阅读(55) 评论(0) 推荐(0)
07 Spark RDD编程 综合实例 英文词频统计
摘要： 1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] 阅读全文
posted @ 2021-06-04 16:41 暴走的短腿猫 阅读(44) 评论(0) 推荐(0)
09 spark连接mysql数据库
摘要： 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql 阅读全文
posted @ 2021-06-04 16:28 暴走的短腿猫 阅读(26) 评论(0) 推荐(0)