摘要: 第一部分:什么是RPC RPC(Remote Procedure Call Protocol)–远程过程协议调用。通过RPC我们可以从网络上的计算机请求服务,而不需要了解底层网络协议。Hadoop底层的交互都是通过rpc进行的。例如:datanode和namenode、tasktracker和... 阅读全文
posted @ 2014-12-03 11:34 旧收音机 阅读(315) 评论(0) 推荐(0)
摘要: 一、Map任务的执行过程读取文件的内容,解析成key、value对,对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数写自己的逻辑,对输入的key、value处理,转换成新的key、value输出对输出的key,value进行分区对不同分区的数据,按照key进行排序分组,... 阅读全文
posted @ 2014-11-30 23:45 旧收音机 阅读(353) 评论(0) 推荐(0)
摘要: 官方API链接地址:http://hadoop.apache.org/docs/current/一、什么是HDFS? HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统,具有高容错,高吞吐量的特性,同时它也是Hadoop的核心。二、Had... 阅读全文
posted @ 2014-11-30 00:20 旧收音机 阅读(394) 评论(0) 推荐(0)
摘要: 说明:redis安装,不需要配置复杂的配置文件。但是需要一些琐碎的地方需要注意。软件:redis-2.8.17.tar.gz,tcl8.6.1-src.tar.gz软件下载地址:链接: http://pan.baidu.com/s/1c0CNLmg 密码: 8agv一、把redis-2.8.17.t... 阅读全文
posted @ 2014-11-25 00:17 旧收音机 阅读(882) 评论(0) 推荐(0)
摘要: 说明:hadoop安装,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件:Myeclipse-2014-GA,hadoop-2.5.1.tar.gz,hadoop-eclipse-plugin-2.5.0.jar软件下载地址:链接: http://pa... 阅读全文
posted @ 2014-11-09 18:58 旧收音机 阅读(937) 评论(0) 推荐(0)
摘要: 说明:hadoop安装,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件:CentOS-6.5-i386-minimal.iso,jdk-6u21-linux-i586-rpm.bin,hadoop-2.5.1.tar.gz软件下载地址:链接:http... 阅读全文
posted @ 2014-11-08 18:03 旧收音机 阅读(645) 评论(0) 推荐(0)
摘要: 说明:hadoop安装,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件:CentOS-6.5-i386-minimal.iso,jdk-6u21-linux-i586-rpm.bin,hadoop-2.5.1.tar.gz软件下载地址:链接: htt... 阅读全文
posted @ 2014-11-02 21:51 旧收音机 阅读(881) 评论(0) 推荐(4)
摘要: 在Java中有自动国家化的信息,废话少说看例子。下面是通过Java获取计算机里面的国际化信息。package lee;import java.text.MessageFormat;import java.util.Locale;import java.util.ResourceBundle;publ... 阅读全文
posted @ 2014-08-04 22:16 旧收音机 阅读(112) 评论(0) 推荐(0)
摘要: 正则表达式正则表达式 (Regular Expression)使用单个字符来描述、匹配一系列符合某个句法规则的字符串。英文简写为regex、regexp、RE表达式通常用来简索、替换那些符合某个模式的文本。 元字符具有特殊含义可以匹配任何单个字符的字符正则表达式区分大小写常用的元字符. 匹配除换行符以外的任意字符\w 匹配字母或数字或下划线或汉字\s 匹配任意空白字符\d 匹配数字\b 匹配单词的开始或者结束^ 匹配字符的开始$ 匹配字符的结束字符转义如果想要匹配元字符就需要字符转义转义字符为 \ 重复* 重复0次或更多次+ 重复一次或更多次?... 阅读全文
posted @ 2013-11-17 01:24 旧收音机 阅读(191) 评论(0) 推荐(0)