摘要：
worker启动一般包含两大部分：DriverRunner和ExcetorRunner。 worker启动driver的几个基本原理，最核心的是。worker内部会启动一个线程，这个线程可以理解为driverRunner。然后DriverRunner会去负责启动driver进程，并在之后对drive 阅读全文
posted @ 2019-10-27 14:54
上海小墨子
阅读(461)
评论(0)
推荐(0)
摘要：
schedule方法的总源码： 启动driver方法的源码： 启动workers源码： 扩展：中华石杉-spark从入门到精通，第48讲 要理解以上源码，需要知道其中的关系： spark一个集群会有多个master节点和多个worker节点，master节点负责管理worker节点，worker节点 阅读全文
posted @ 2019-10-26 15:33
上海小墨子
阅读(435)
评论(0)
推荐(0)
摘要：
查看源码需要先进行编译，注意修改版本： ./make-distribution.sh --tgz -Phadoop-2.6 -Pyarn -DskipTests -Dhadoop.version=2.6.0 -Phive 一：worker注册机制（worker启动之后） 1- worker在启动之后 阅读全文
posted @ 2019-10-26 10:02
上海小墨子
阅读(384)
评论(0)
推荐(0)
摘要：
yarn多租户配置管理(CapacityScheduler) hadoop的版本为2.7 一： 多租户实现前，只有一个default队列 二 配置文件修改 yarn-site.xml <property> <name>yarn.admin.acl</name> <value>hadp</value> 阅读全文
posted @ 2019-10-22 18:53
上海小墨子
阅读(2048)
评论(0)
推荐(0)
摘要：
Flume-ng源码解析之Sink组件 如果你还没看过Flume-ng源码解析系列中的启动流程和Channel组件，可以点击下面链接：Flume-ng源码解析之启动流程Flume-ng源码解析之Channel组件 作为启动流程中第二个启动的组件，我们今天来看看Sink的细节 1 Sink Sink在 阅读全文
posted @ 2019-09-27 16:18
上海小墨子
阅读(527)
评论(0)
推荐(0)
摘要：
Flume多个Agent实例 Flume Log 多个Agent的数据汇聚到同一个Agent 我这里是用本机模拟此架构，三个日志收集Flume Agent节点和一个日志Flume Collector节点 Agent1节点的flume.conf配置 12345678910111213141516171 阅读全文
posted @ 2019-09-25 10:41
上海小墨子
阅读(2039)
评论(0)
推荐(0)
摘要：
CPU高的解决方法（flume） 我不是创造者，只是搬运工，望大家提出宝贵意见。 第一种方法： 网上各种解决方法（自己新手，不知道解决思路）： 首先比较靠谱的两篇文章，找到CPU高的线程；方法见连接： http://blog.csdn.net/linux_ja/article/details/472 阅读全文
posted @ 2019-09-25 10:39
上海小墨子
阅读(396)
评论(0)
推荐(0)
摘要：
Flume源码分析 bobcorbett 关注 2017.08.15 11:38* 字数 1942 阅读 408评论 0喜欢 2 首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口： public interface LifecycleAw 阅读全文
posted @ 2019-09-25 10:33
上海小墨子
阅读(949)
评论(0)
推荐(0)
摘要：
本文来自转载 JavaChen Blog http://www.jb51.net/article/53542.htm 实例介绍 http://www.cnblogs.com/chushiyaoyue/p/6207638.html 分析Flume的启动过程 http://www.cnblogs.com 阅读全文
posted @ 2019-09-25 10:32
上海小墨子
阅读(283)
评论(0)
推荐(0)
摘要：
spark的三种提交模式： 1- spark内核架构，standalone模式，基于spark自己的Mater-Worker集群； 2- 基于yarn的yarn-cluster模式；主要用于线上生产环境。 修改方式spark-submit脚本，--master参数设置为yarn；--deploy-m 阅读全文
posted @ 2019-08-19 13:55
上海小墨子
阅读(192)
评论(0)
推荐(0)
浙公网安备 33010602011771号