2022年6月14日
一个因为windows系统缺失文件而导致的pyspark的BUG
摘要： exitCode=-1073741515 saveAsTextFile 阅读全文
posted @ 2022-06-14 19:19 gaussen126 阅读(90) 评论(0) 推荐(0)
使用pyspark 建立spark 的累加器
摘要： 一，累加器特征 1，PySpark累加器是一个共享变量，与RDD和DataFrame一起使用，以执行与Map reduce计数器类似的求和和和计数器操作。 2，只有分布在各个节点上的task任务才能更新累加器的数值，并且只有driver 端可以读取数值。 二，累加器的创建和使用 sparkConte 阅读全文
posted @ 2022-06-14 11:11 gaussen126 阅读(421) 评论(0) 推荐(0)