11 2014 档案

005、Hadoop-MapReduce详解
摘要：一、Map任务的执行过程读取文件的内容，解析成key、value对，对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数写自己的逻辑，对输入的key、value处理，转换成新的key、value输出对输出的key,value进行分区对不同分区的数据，按照key进行排序分组，... 阅读全文
posted @ 2014-11-30 23:45 旧收音机 阅读(357) 评论(0) 推荐(0)
004、Hadoop-HDFS分布式文件系统详解
摘要：官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Had... 阅读全文
posted @ 2014-11-30 00:20 旧收音机 阅读(413) 评论(0) 推荐(0)
Redis-2.8.1介绍以及安装
摘要：说明：redis安装，不需要配置复杂的配置文件。但是需要一些琐碎的地方需要注意。软件：redis-2.8.17.tar.gz，tcl8.6.1-src.tar.gz软件下载地址：链接: http://pan.baidu.com/s/1c0CNLmg 密码: 8agv一、把redis-2.8.17.t... 阅读全文
posted @ 2014-11-25 00:17 旧收音机 阅读(887) 评论(0) 推荐(0)
003、java连接Hadoop2.5.1获取文件系统信息
摘要：说明：hadoop安装，一共有三种部署方式，分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件：Myeclipse-2014-GA，hadoop-2.5.1.tar.gz，hadoop-eclipse-plugin-2.5.0.jar软件下载地址：链接: http://pa... 阅读全文
posted @ 2014-11-09 18:58 旧收音机 阅读(946) 评论(0) 推荐(0)
002、Hadoop2.5.1完全分布式搭建
摘要：说明：hadoop安装，一共有三种部署方式，分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件：CentOS-6.5-i386-minimal.iso，jdk-6u21-linux-i586-rpm.bin，hadoop-2.5.1.tar.gz软件下载地址：链接:http... 阅读全文
posted @ 2014-11-08 18:03 旧收音机 阅读(658) 评论(0) 推荐(0)
001、Hadoop2.5.1安装配置
摘要：说明：hadoop安装，一共有三种部署方式，分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件：CentOS-6.5-i386-minimal.iso，jdk-6u21-linux-i586-rpm.bin，hadoop-2.5.1.tar.gz软件下载地址：链接: htt... 阅读全文
posted @ 2014-11-02 21:51 旧收音机 阅读(894) 评论(0) 推荐(4)