2019年11月28日
大数据学习day18----第三阶段spark01--------0.前言（分布式运算框架的核心思想，MR与Spark的比较，spark可以怎么运行，spark提交到spark集群的方式）1. spark(standalone模式)的安装 2. Spark各个角色的功能 3.SparkShell的使用，spark编程入门（wordcount案例）
摘要： 0.前言 0.1 分布式运算框架的核心思想（此处以MR运行在yarn上为例） 提交job时，resourcemanager（图中写成了master）会根据数据的量以及工作的复杂度，解析工作量，从而产生任务（有多少个MapTask以及多少个ReduceTask），然后根据各个nodemanage节点资 阅读全文
posted @ 2019-11-28 10:38 一y样 阅读(313) 评论(0) 推荐(0)