摘要：
调试资源分配 Spark 的用户邮件邮件列表中经常会出现 “我有一个500个节点的集群，为什么但是我的应用一次只有两个 task 在执行”，鉴于 Spark 控制资源使用的参数的数量，这些问题不应该出现。但是在本章中，你将学会压榨出你集群的每一分资源。推荐的配置将根据不同的集群管理系统（YARN、M 阅读全文
posted @ 2017-08-31 19:38
张永清
阅读(250)
评论(0)
推荐(0)
摘要：
当你开始编写 Apache Spark 代码或者浏览公开的 API 的时候，你会遇到各种各样术语，比如 transformation，action，RDD 等等。 了解到这些是编写 Spark 代码的基础。 同样，当你任务开始失败或者你需要透过web界面去了解自己的应用为何如此费时的时候，你需要去了 阅读全文
posted @ 2017-08-31 19:35
张永清
阅读(242)
评论(0)
推荐(0)
摘要：
首先是一张Spark的部署图： 节点类型有： 1. master 节点： 常驻master进程，负责管理全部worker节点。2. worker 节点： 常驻worker进程，负责管理executor 并与master节点通信。dirvier：官方解释为： The process running t 阅读全文
posted @ 2017-08-31 19:27
张永清
阅读(257)
评论(0)
推荐(0)
浙公网安备 33010602011771号