摘要：
疑问：在开发hadoop程序的时候，有时候需要查看hadoop的源码，但是开发环境看不到，甚是烦恼，经过网上搜索和琢磨，终于实现了，虽然有点绕，但是目的达到了。第一步：下载hadoop的源码包：hadoop-2.7.1-src.tar.gz，解压缩后为：hadoop-2.7.1-src。得到hado... 阅读全文
posted @ 2015-10-12 15:01
yytlmm
阅读(186)
评论(0)
推荐(0)
摘要：
来源：http://blog.csdn.net/liuxiaochen123/article/details/8786715?utm_source=tuicool2013-04-11 10:154941人阅读评论(2)收藏举报目录(?)[-]1MapReduce理论简介11 MapReduce编程模... 阅读全文
posted @ 2015-10-09 13:58
yytlmm
阅读(302)
评论(0)
推荐(0)
摘要：
一 概述：(1)Hadoop MapReduce采用Master/Slave结构。*Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。*Slave：负责任务的执行和任务状态的回报，即MapReduce中的TaskTra... 阅读全文
posted @ 2015-09-28 14:47
yytlmm
阅读(988)
评论(0)
推荐(0)
摘要：
Hadoop分为三种模式：独立（或本地）模式、伪分布模式、全分布模式不同模式下关键配置项及属性内容如下面表格所示组件名称配置的文件名属性名称独立模式伪分布模式全分布模式Commoncore-site.xmlfs.default,namefile:///(默认)hdfs://localhost/haf... 阅读全文
posted @ 2015-09-28 14:44
yytlmm
阅读(364)
评论(0)
推荐(0)
摘要：
Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等。0.数据要首先分块Block：将一个文件进行分块，通常是64M。NameNode：--管理节点保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，当然这台主机如果出错，NameNode就失效... 阅读全文
posted @ 2015-09-25 16:45
yytlmm
阅读(709)
评论(0)
推荐(0)
摘要：
来源：http://www.cnblogs.com/justinzhang/p/4261851.htmlThis document is from my evernote, when I was still at baidu, I have a complete hadoop development... 阅读全文
posted @ 2015-09-25 11:56
yytlmm
阅读(243)
评论(0)
推荐(0)
摘要：
在权威指南中，有个关于处理温度的MapReduce类，具体如下：第一部分：Mappublic class MaxTemperatureMapper extends MapReduceBase implements Mapper{//其他代码public void map(LongWrita... 阅读全文
posted @ 2015-09-25 11:55
yytlmm
阅读(5020)
评论(0)
推荐(0)
摘要：
刚开始接触Hadoop ,指南中说Hadoop处理非结构化数据，学习数据库的时候，老师总提结构化数据，就是一张二维表，那非结构化数据是什么呢？难道是文本那样的文件？经过上网搜索，感觉这个帖子不错网址：http://blog.sina.com.cn/s/blog_49c1385f01014bf6.ht... 阅读全文
posted @ 2015-09-25 10:10
yytlmm
阅读(3566)
评论(0)
推荐(0)
摘要：
分三十个客观题和四个主观题下面是部分记忆的内容1.有十个球，1个红球9个黑球，每次取一个，且不放回，问恰第二次取出红球的概率为：_______2.待排序列{46,79,56,38,40,84}求快速排序第一次之后的排列结果（）；3.二叉树知道后续遍历{e,d,g,f,b,c,a},中序遍历{d,e,... 阅读全文
posted @ 2015-09-07 09:16
yytlmm
阅读(303)
评论(0)
推荐(0)
摘要：
来源：http://blog.csdn.net/yu422560654/article/details/7952613Heap堆内存理解一个JVM实例只有一个堆内存，堆内存的大小是可以调节的。类加载器读取类文件后，需要把类文件、方法、常量放入到堆内存中，以便执行器执行，堆内存分为三部分：1. Per... 阅读全文
posted @ 2015-09-04 16:39
yytlmm
阅读(180)
评论(0)
推荐(0)
浙公网安备 33010602011771号