摘要：
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应 阅读全文
posted @ 2016-10-31 17:27
大葱拌豆腐
阅读(1470)
评论(0)
推荐(0)
摘要：
在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源 阅读全文
posted @ 2016-10-31 17:04
大葱拌豆腐
阅读(725)
评论(1)
推荐(1)
摘要：
1.基础排序算法 2.二次排序算法 所谓二次排序就是指排序的时候考虑两个维度（有可能10次排序） Java版本 Scala版本 阅读全文
posted @ 2016-10-31 10:37
大葱拌豆腐
阅读(3929)
评论(0)
推荐(0)
摘要：
提交Spark程序到集群与提交MapReduce程序到集群一样，首先要将写好的Spark程序打成jar包，再在Spark-submit下通过命令提交。 Step1:打包程序 Intellij IDEA进行打包步骤： Step2:提交任务 ./spark-submit --class com.jz.b 阅读全文
posted @ 2016-10-31 10:26
大葱拌豆腐
阅读(3670)
评论(0)
推荐(0)
浙公网安备 33010602011771号