Hadoop之MapReduce与Yarn
1. MapReduce程序的概念
MapReduce是一种分布式计算模型,一台服务器不能完成计算,就使用多台服务器一起执行计算,核心思想先拆分,再合并
MapReduce是一种离线数据处理模型,不适用进行实时的流式计算
2. MapReduce WordCount
1. 执行wordcount
cd ${HADOOP_HOME}/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /test/msg2.txt /output/wc
/test/msg2.txt 是准备分析的文件,这里也可以是目录
/output/wc 这是分析完成后,结果所在的目录
2. wordcount数据处理流程
3. 自己开发wordcount
3. YARN与MapReduce
一往无前虎山行,拨开云雾见光明

浙公网安备 33010602011771号