摘要:
上篇文章谈到Driver节点和Executor节点,但是如果想要运行Driver节点和Executor节点,就不能不说spark的集群管理器。spark的集群管理器大致有三种,一种是自带的standalone独立集群管理器,一种是依赖于Hadoop的资源调度器YARN,还有一种就是Apache项目的 阅读全文
posted @ 2017-11-04 11:22
大葱拌豆腐
阅读(458)
评论(0)
推荐(0)
摘要:
转载自:http://blog.sina.com.cn/s/blog_15fc03d810102wto0.html 1.驱动器节点(Driver) Spark的驱动器是执行开发程序中的 main方法的进程。它负责开发人员编写的用来创建SparkContext、创建 RDD,以及进行 RDD 的转化操 阅读全文
posted @ 2017-11-04 11:21
大葱拌豆腐
阅读(5096)
评论(0)
推荐(1)
浙公网安备 33010602011771号