随笔分类 -  Spark

Spark课程笔记
（二）Spark
摘要：1、spark自定义分区 2、spark中的共享变量 3、spark程序的序列化问题 4、spark中的application/job/stage/task之间的关系 5、spark on yarn原理和机制 6、spark的资源分配方式 1 spark自定义分区 1.1 自定义分区说明 在对rdd 阅读全文
posted @ 2020-07-21 23:01 起始的地方 阅读(142) 评论(0) 推荐(0)
（一）Spark
摘要：Spark基础入门 1、spark的核心概念 2、spark的四大特性 3、spark的整体架构 4、spark的集群安装部署 5、spark的集群的启动和停止 6、spark的集群web管理界面 7、spark-shell Driver 它会执行客户端写好的main方法，它会构建一个名叫Spark 阅读全文
posted @ 2020-07-20 23:54 起始的地方 阅读(189) 评论(0) 推荐(0)