摘要: 一、总体架构 Zoie是linkedin公司基于Lucene实现的实时搜索引擎系统，按照其官方wiki的描述为： http://snaprojects.jira.com/wiki/display/ZOIE/Overview Zoie is a realtime indexing and search system, and as such needs to have relatively close coupling between the logically distinct Indexing and Searching subsystems: as soon as a document m阅读全文

摘要: Hadoop 学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce入门Hadoop学习总结之四：Map-Reduce的过程解析在使用hadoop的时候，可能遇到各种各样的问题，然而由于hadoop的运行机制比较复杂，因而出现了问题的时候比较难于发现问题。 本文欲通过某种方式跟踪Hadoop的运行痕迹，方便出现问题的时候可以通过这些痕迹来解决问题。 一、环境的搭建 为了能够跟踪这些运行的痕迹，我们需要搭建一个特殊的环境，从而可以一步步的查看上一节提到的一些关键步骤所引起的变化。 我们首先搭建一个拥有一个NameNode(namen阅读全文

摘要: 转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Hadoop的源代码已经进行了详细的分析，推荐大家阅读。 转自http://blog.csdn.net/HEYUTAO007/archive/2010/07/10/5725379.aspx 参考： 1 caibinbupt的源代码分析http://caibinbupt.javaeye.com/ 2 coderplay的avaeye http://coderplay.javaeye.com/blog/295097 http://coderpla阅读全文

摘要: 一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的： public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个任务 running = jc.submitJob(job); JobID jobId = running.getID(); …… ...阅读全文

摘要: 1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下： 按照ASCII码存储，每行一条记录 每一行字符从0开始计数，第15个到第18个字符为年 第25个到第29个字符为温度，其中第25位是符号+/- 0067011990999991950051507+0000+ 0043011990999991950051512+0022+ 0043011990999991950051518-0011+ 0043012650999991949032412+0111+ 0043012650999991949032418+0078+ 00670119909999919370...阅读全文

摘要: 61、名人效应名人的出现所达成的引人注意、强化事物、扩大影响的效应，或人们模仿名人的心理现象统称为名人效应。名人效应已经在生活中的方方面面产生深远影响，比如名人代言广告能够刺激消费，名人出席慈善活动能够带动社会关怀弱者等等。简单的说名人效应相当于一种品牌效应，它可以带动人群，它的效应可以如同疯狂的追星族那么强大。美国心理学家曾做过一个有趣的实验，在给大学心理系学生讲课时，向学生介绍说聘请到举世闻名的化学家。然后这位化学家说，他发现了一种新的化学物质，这种物质具有强烈的气味，但对人体无害。在这里只是想测一下大家的嗅觉。接着打开瓶盖，过了一会儿，他要求闻到气味的同学举手，不少同学举了手，其实这只瓶阅读全文

摘要: 51、禁果效应禁果效应也叫做“罗密欧与朱丽叶效应”，越是禁止的东西，人们越要得到手。这与人们的好奇心与逆反心理有关。在生活中常常会遇到这样的情况：你越想把一些事情或信息隐瞒住不让别人知道，越会引来他人更大的兴趣和关注，人们对你隐瞒的东西充满好奇和窥探的欲望，甚至千方百计通过别的渠道试图获得这些信息。而一旦这些信息突破你的掌握，进入了传播领域，会因为它所具有的“神秘”色彩被许多人争相获取，并产生一传十、十传百的效果，从而与你隐瞒该信息的愿望背道而驰。这一现象被称作传播中的“禁果效应”。所谓禁果效应，指一些事物因为被禁止，反而更加吸引人们的注意力，使更多地人参与或关注。有一句谚语：“禁果格外甜”，阅读全文

摘要: 一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException { return new DFSClient.DFSDataInputStream( dfs.open(getPathName(f), bufferSize, verifyChecksum, statistics)); } 其中dfs为Distributed...阅读全文