摘要：一、MapReduce简介 MapReduce是一种面向大数据平台的分布式并行计算框架，它允许使用人员在不会分布式并行编程的情况下，将程序运行在分布式系统上。它提供的并行计算框架，能自动完成计算任务的并行处理，自动划分计算数据，在集群节点上自动分配和执行计算任务，自动收集计算结果，使得开发人员只用关 阅读全文

摘要：使用Java操作HDFS，首先需要创建maven工程，创建maven工程的方法：https://www.cnblogs.com/ynqwer/p/14540108.html。 在新建的maven工程的src/main/java/目录下就可以写Java程序操作HDFS，为了方便管理，可以在此目录下创建 阅读全文

摘要：最近在学习用java来编写MapReduce程序，我是先在windows中开发完成，运行没有问题之后，再打成jar包，放到Linux集群中运行，由于在配置windows的开发环境的时候就花了大半天的时间，所以我打算把这个过程给简单的记录一下，方便以后需要的时候可以快速查看，以免浪费过多的时间。 一、 阅读全文