2019年10月26日
spark-master源码之schedule
摘要： schedule方法的总源码： 启动driver方法的源码： 启动workers源码： 扩展：中华石杉-spark从入门到精通，第48讲 要理解以上源码，需要知道其中的关系： spark一个集群会有多个master节点和多个worker节点，master节点负责管理worker节点，worker节点 阅读全文
posted @ 2019-10-26 15:33 上海小墨子 阅读(435) 评论(0) 推荐(0)
spark-Master注册机制 和 状态改变处理机制
摘要： 查看源码需要先进行编译，注意修改版本： ./make-distribution.sh --tgz -Phadoop-2.6 -Pyarn -DskipTests -Dhadoop.version=2.6.0 -Phive 一：worker注册机制（worker启动之后） 1- worker在启动之后 阅读全文
posted @ 2019-10-26 10:02 上海小墨子 阅读(384) 评论(0) 推荐(0)