摘要: Hadoop典型应用有:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。0.数据要首先分块Block:将一个文件进行分块,通常是64M。NameNode:--管理节点保存整个文件系统的目录信息、文件信息及分块信息,这是由唯一一台主机专门保存,当然这台主机如果出错,NameNode就失效... 阅读全文
posted @ 2015-09-25 16:45 yytlmm 阅读(709) 评论(0) 推荐(0)
摘要: 来源:http://www.cnblogs.com/justinzhang/p/4261851.htmlThis document is from my evernote, when I was still at baidu, I have a complete hadoop development... 阅读全文
posted @ 2015-09-25 11:56 yytlmm 阅读(243) 评论(0) 推荐(0)
摘要: 在权威指南中,有个关于处理温度的MapReduce类,具体如下:第一部分:Mappublic class MaxTemperatureMapper extends MapReduceBase implements Mapper{//其他代码public void map(LongWrita... 阅读全文
posted @ 2015-09-25 11:55 yytlmm 阅读(5020) 评论(0) 推荐(0)
摘要: 刚开始接触Hadoop ,指南中说Hadoop处理非结构化数据,学习数据库的时候,老师总提结构化数据,就是一张二维表,那非结构化数据是什么呢?难道是文本那样的文件?经过上网搜索,感觉这个帖子不错网址:http://blog.sina.com.cn/s/blog_49c1385f01014bf6.ht... 阅读全文
posted @ 2015-09-25 10:10 yytlmm 阅读(3566) 评论(0) 推荐(0)