随笔分类 -  spark

spark基本概念整理
摘要：app 1 基于spark的用户程序，包含了一个driver program和集群中多个executor 2 driver和executor存在心跳机制确保存活3 --conf spark.executor.instances=5 --conf spark.executor.cores=8 --co 阅读全文

posted @ 2019-05-28 10:13 floud 阅读(1230) 评论(0) 推荐(0)

spark 报错 InvalidClassException: no valid constructor
摘要：1 2019-03-19 02:50:24 WARN TaskSetManager:66 - Lost task 1.0 in stage 0.0 (TID 1, 1.2.3.4, executor 1): java.io.InvalidClassException: xxx.xxx.spark.x 阅读全文

posted @ 2019-03-19 11:28 floud 阅读(1733) 评论(0) 推荐(0)