01 2018 档案

StreamingListener记录(spark-2.2.0)
摘要：记录spark streaming 中监听器StreamingListener的相关信息 概述 代码记录 示例代码 示例代码应用 阅读全文
posted @ 2018-01-31 16:23 vv.past 阅读(2540) 评论(0) 推荐(0)
SparkListener记录(spark-2.2.0)
摘要：这里记录一下SparkListener一些常用的监听使用方式 概述 代码记录 示例代码 示例代码使用 阅读全文
posted @ 2018-01-31 16:02 vv.past 阅读(2432) 评论(0) 推荐(0)
ChildProcAppHandle记录(spark-2.2.0)
摘要：ChildProcAppHandle 代码记录 概述 代码记录 阅读全文
posted @ 2018-01-31 12:32 vv.past 阅读(372) 评论(0) 推荐(0)
LauncherServer记录(spark-2.2.0)
摘要：LauncherServer 代码记录 概述 代码记录 class LauncherServer implements Closeable { private static final Logger LOG = Logger.getLogger(LauncherServer.class.getNam 阅读全文
posted @ 2018-01-31 12:23 vv.past 阅读(874) 评论(0) 推荐(0)
LauncherServer流程记录(spark-2.2.0)
摘要：这里记录一下LauncherBackend和LauncherServer的通信流程 流程图 流程说明 相关记录链接 "SparkLauncher" "LauncherServer" "LauncherBackend" "ChildProcAppHandle" 阅读全文
posted @ 2018-01-31 11:42 vv.past 阅读(727) 评论(0) 推荐(1)
LauncherBackend记录(spark-2.2.0)
摘要：LauncherBackend 代码记录 概述 1.代码记录 阅读全文
posted @ 2018-01-31 10:20 vv.past 阅读(674) 评论(0) 推荐(0)
sparkLauncher记录(spark-2.2.0)
摘要：sparkLauncher 代码记录 1.概述 2.launch方法 3.createBuilder方法 3.startApplication方法 //这个方法也是用来执行任务的。只是比launch 多了一个状态监控的功能，用户可以通过提供sparkAppHandle.Listener来实现任务状态 阅读全文
posted @ 2018-01-30 19:08 vv.past 阅读(2184) 评论(0) 推荐(0)
perl 有符号数和无符号数互操作
摘要：记录perl的数字类型一些位操作方法 在perl里数字类型是64位，在进行位操作的时候在在64位的基础上进行位运算 阅读全文
posted @ 2018-01-04 20:12 vv.past 阅读(643) 评论(0) 推荐(0)
capacity-scheduler.xml yarn容量调度配置文件
摘要：yarn.scheduler.capacity.maximum-applications 10000 最多可同时处于等待和运行状态的应用程序数目 yarn.scheduler.capacity.maximum-am-resource-percent 1 集群中可用于运行application master的资源比例上限,... 阅读全文
posted @ 2018-01-03 09:52 vv.past 阅读(3614) 评论(0) 推荐(0)
yarn-site.xml的配置内容
摘要：yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id zz yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 host1 yarn.resour... 阅读全文
posted @ 2018-01-03 09:48 vv.past 阅读(10145) 评论(1) 推荐(0)