2021年12月7日
pyspark 实战笔记
摘要： #列表转成 spark dataframe 几种方法 data = [1,5,7,10,23,20,6,5,10,7,10] （1）转成rdd rdd = sc.parallelize(data) rdd = rdd.map(lambda x:(x,)) （2）dfdata = spark.crea 阅读全文
posted @ 2021-12-07 18:09 cup_leo 阅读(96) 评论(0) 推荐(0)
pyspark SQL 基础入门资料
摘要： 1、(45条消息) PySpark SQL常用语法_baidu_26454813的博客-CSDN博客_pyspark sql 2、spark dataframe新增一列的四种方法： spark dataframe新增一列的四种方法【附源码】_香山上的麻雀_51CTO博客 3、Spark Repart 阅读全文
posted @ 2021-12-07 14:39 cup_leo 阅读(241) 评论(0) 推荐(0)
如何利用Python编程执行Spark
摘要： Apache Spark是一个对开发者提供完备的库和API的集群计算系统，并且支持多种语言，包括Java，Python，R和Scala。SparkSQL相当于Apache Spark的一个模块，在DataFrame API的帮助下可用来处理非结构化数据。 通过名为PySpark的Spark Pyth 阅读全文
posted @ 2021-12-07 11:08 cup_leo 阅读(976) 评论(0) 推荐(0)