摘要：这里分析MapReduce原理并没用WordCount，目前没用过hadoop也没接触过大数据，感觉，只是感觉，在项目中，如果真的用到了MapReduce那待排序的肯定会更加实用。 先贴上源码 为了看程序是怎么跑的，所以在上面加上了各种输出。 从头开始分析，单纯的从main方法开始，集群上不太好跟踪 阅读全文

摘要：首先弄出来装有hadoop、java、ssh、vim的镜像起名badboyf/hadoop。做镜像有两种方法，一种是用Dockerfile来生成一个镜像，一种是基于ubuntu14.04的基础镜像生成容器后进入容器设置完成后，根据容器打成新的镜像。这是第一次弄，各种不会的地方，所以用第二种方法，弄出 阅读全文

摘要：我用的系统是ubuntu14.04新建一个Java Project。 这里用的是gradle打包，gradle默认找src/main/java下的类编译。src目录已经有了，手动在src下创建main/java(也可以配置gradle去找其他路径的下的文件)。在项目跟录下创建build.gradle 阅读全文

摘要：Hadoop官网：http://hadoop.apache.org/ 目前最新的版本是Hadoop 3.0.0-alpha1前提：java 1.6 版本以上 首先从官网下载压缩包(hadoop-3.0.0-alpha1.tar.gz )。配置环境变量：JAVA_HOME(如果是做的java开发这个肯 阅读全文