摘要: Hadoop源码学习笔记(6) ——从ls命令一路解剖 Hadoop几个模块的程序我们大致有了点了解,现在我们得细看一下这个程序是如何处理命令的。 我们就从原头开始,然后一步步追查。 我们先选中ls命令,这是一个列出分面式文件系统中的目录结构。传入一个查阅地址,如果没有则是根目录。启动NameNo... 阅读全文
posted @ 2015-01-13 20:37 JeffreyZhou 阅读(3420) 评论(3) 推荐(1) 编辑
摘要: Hadoop源码学习笔记(5) ——回顾DataNode和NameNode的类结构 之前我们简要的看过了DataNode的main函数以及整个类的大至,现在结合前面我们研究的线程和RPC,则可以进一步看看几个对象的大至结构以及调用关系。 我们知道,三个结构(客户端,NameNode,DataNod... 阅读全文
posted @ 2014-11-13 19:17 JeffreyZhou 阅读(1036) 评论(0) 推荐(0) 编辑
摘要: Hadoop源码学习笔记(4) ——Socket到RPC调用 Hadoop是一个分布式程序,分布在多台机器上运行,事必会涉及到网络编程。那这里如何让网络编程变得简单、透明的呢? 网络编程中,首先我们要学的就是Socket编程,这是网络编程中最底层的程序接口,分为服务器端和客户端,服务器负责监听某个... 阅读全文
posted @ 2014-11-11 22:17 JeffreyZhou 阅读(2068) 评论(0) 推荐(0) 编辑
摘要: Hadoop源码学习笔记(3) ——初览DataNode及学习线程 进入了main函数,我们走出了第一步,接下来看看再怎么走: public class DataNode extends Configured implements InterDatanodeProtocol,ClientDatan... 阅读全文
posted @ 2014-11-06 21:02 JeffreyZhou 阅读(1703) 评论(0) 推荐(1) 编辑
摘要: Hadoop源码学习笔记(2) ——进入main函数打印包信息 找到了main函数,也建立了快速启动的方法,然后我们就进去看一看。 进入NameNode和DataNode的主函数后,发现形式差不多: public static void main(String args[]) {try { Str... 阅读全文
posted @ 2014-10-31 07:50 JeffreyZhou 阅读(1952) 评论(1) 推荐(2) 编辑
摘要: Hadoop源码学习笔记(1) ——找到Main函数及读一读Configure类 前面在第一季中,我们简单地研究了下Hadoop是什么,怎么用。在这开源的大牛作品的诱惑下,接下来我们要研究一下它是如何实现的。 提前申明,本人是一直搞.net的,对java略为生疏,所以在学习该作品时,会时不时插入对... 阅读全文
posted @ 2014-10-30 07:50 JeffreyZhou 阅读(2821) 评论(1) 推荐(2) 编辑
摘要: 我对编程的一些感悟个人观点,欢迎指点一、语言是功夫、思路是内功 编程可以有多种语言,正如一个武林人士有着各种功夫,但是如果这人要成为武林高手的话,那他的内功一定得很深。如果内功很深,反过来,再学新功夫就非常快了,看过《倚天屠龙记》的都知道,张无忌学会了乾坤大挪移后,看一下别人的功夫,自己也就会打了,... 阅读全文
posted @ 2014-08-19 06:57 JeffreyZhou 阅读(2764) 评论(1) 推荐(0) 编辑
摘要: Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了。但是看代码用什么,难不成gedit?,单步调试呢? 看程序不能调那多痛苦啊,想看跟踪一下变量,想看一下执行路径都难。 所以这里,我们得把这个... 阅读全文
posted @ 2014-08-18 13:26 JeffreyZhou 阅读(4227) 评论(1) 推荐(3) 编辑
摘要: Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例。接下来其实就有两条路可走了,一条是继续深入研究其编程及部署等,让其功能使用的淋漓尽致。二是停下来,先看看其源码,研究下如何实现的。在这里... 阅读全文
posted @ 2014-08-18 07:02 JeffreyZhou 阅读(6574) 评论(2) 推荐(0) 编辑
摘要: Hadoop学习笔记(8) ——实战 做个倒排索引 倒排索引是文档检索系统中最常用数据结构。根据单词反过来查在文档中出现的频率,而不是根据文档来,所以称倒排索引(Inverted Index)。结构如下: 这张索引表中, 每个单词都对应着一系列的出现该单词的文档,权表示该单词在该文档中出现的次数。... 阅读全文
posted @ 2014-08-14 22:04 JeffreyZhou 阅读(6688) 评论(6) 推荐(2) 编辑