摘要：引言： 虽然MapReduce计算框架简化了分布式程序设计，将所有并行程序需要关注的设计细节抽象成公共模块并交由系统实现，用户只需关注自己的应用程序的逻辑实现，提高了开发效率。但开发者如果对Mapreduce计算框架如何实现这样的魔术没有一个基本的了解，那么将无法利用框架本身提供的灵活性编写MapR 阅读全文

摘要：回顾： 在上一篇https://www.cnblogs.com/superlsj/p/11857691.html详细介绍了InputFormat的原理和常见的实现类。总结来说，InputFormat是将文件切片 >再转化为<key--value>对转交给Mapper处理。 所以我们看到在InputF 阅读全文

摘要：引言： 我们知道：在MapReduce程序的Map阶段，需要有满足格式的数据输入给Mapper，但源数据要么不满足数据输入格式，要么数据量太大(一个MapTask不能高效处理)，所以在数据输入Mapper之前，需要根据数据的特点和业务逻辑对数据进行格式化，这一步的格式化被称为：InputFormat 阅读全文

摘要：为了测试MapReduce提交的详细流程。需要在提交这一步打上断点： F7进入方法： 进入submit方法： 注意这个connect方法，它在连接谁呢？我们知道，Driver是作为客户端存在的，那么客户端连接的应该就是Yarn集群，但是在这个简单的WordCount案例中，并没有将任务提交到Yarn 阅读全文

摘要：在介绍Hadoop集群搭建的步骤之前，先了解一下Hadoop2.x版本以后hadoop的组成。在2版本发布以前，hadoop由HDFS，Common、MapReduce三个部分组成，其中HDFS为Hadoop Distributed File System，负责文件和数据的存储，MapReduce则 阅读全文