2018年11月15日
Spark资源调度
摘要： 一：任务调度和资源调度的区别: 任务调度是指通过DAGScheduler，TaskScheduler，SchedulerBackend完成的job的调度 资源调度是指应用程序获取资源的调度，他是通过schedule方法完成的 二：资源调度解密 因为master负责资源管理和调度，所以资源调度的方法s 阅读全文
posted @ 2018-11-15 23:26 大葱拌豆腐 阅读(410) 评论(0) 推荐(0)
Spark Worker启动Driver和Executor工作流程
摘要： 二：Spark Worker启动Driver源码解析 补充说明：如果Cluster上的driver启动失败或者崩溃的时候，如果driverDescription的supervise设置的为true的时候，会自动重启，由worker负责它的重新启动。 DriverRunner对象 DriverRunn 阅读全文
posted @ 2018-11-15 23:04 大葱拌豆腐 阅读(2606) 评论(0) 推荐(0)
获取spark-submit --files的文件内容
摘要： 参考https://community.hortonworks.com/questions/9265/how-can-i-add-configuration-files-to-a-spark-job-r.html 我的总结（以--files README.md为例）：方法1：按照上面所说，--fil 阅读全文
posted @ 2018-11-15 12:41 大葱拌豆腐 阅读(7789) 评论(0) 推荐(1)
JVM虚拟机选项：Xms Xmx PermSize MaxPermSize区别（转）
摘要： java虽然是自动回收内存，但是应用程序，尤其服务器程序最好根据业务情况指明内存分配限制。否则可能导致应用程序宕掉。举例说明含义：-Xms128m表示JVM Heap(堆内存)最小尺寸128MB，初始分配-Xmx512m表示JVM Heap(堆内存)最大允许的尺寸256MB，按需分配。说明：如果-X 阅读全文
posted @ 2018-11-15 11:43 大葱拌豆腐 阅读(661) 评论(0) 推荐(1)