Hadoop之MapReduce与Yarn

1.  MapReduce程序的概念

    MapReduce是一种分布式计算模型,一台服务器不能完成计算,就使用多台服务器一起执行计算,核心思想先拆分,再合并

    MapReduce是一种离线数据处理模型,不适用进行实时的流式计算

2.  MapReduce WordCount

    1.  执行wordcount

        cd ${HADOOP_HOME}/share/hadoop/mapreduce

        hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /test/msg2.txt /output/wc        

        /test/msg2.txt  是准备分析的文件,这里也可以是目录

        /output/wc  这是分析完成后,结果所在的目录

    2.  wordcount数据处理流程

    3.  自己开发wordcount

3.  YARN与MapReduce

                            

posted @ 2022-06-24 17:47  奋斗史  阅读(23)  评论(0)    收藏  举报