随笔分类 -  Hadoop

摘要：hadoop的核心思想1.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多 的电信通话记录就... 阅读全文

摘要：http://wenku.baidu.com/view/fe1b2f22de80d4d8d15a4f6e.htmlhttp://wenku.baidu.com/view/e4607031581b6bd97f19eac6.html 阅读全文

摘要：本文的主要内容是google protobuf中序列化数据时用到的编码规则，但是，介绍具体的编码规则之前，我觉得有必要先简单介绍一下google protobuf。因此，本文首先会介绍一些google protobuf相关的内容，让读者朋友对google protobuf有一个初步的印象，然后，再开始进入正题—-深入浅出地介绍google protobuf中用到的编码规则。下面言归正传，开始今天的话题。1. Google-ProtoBuf是什么ProtoBuf，全称是Protocol Buffers, 它是谷歌内部用的一种高效的、可扩展的对结构化数据进行编码的格式规范。谷歌自己内部很多程序之间 阅读全文

摘要：1、hadoop运行的原理?2、mapreduce的原理?3、HDFS存储的机制?4、举一个简单的例子说明mapreduce是怎么来运行的 ?5、面试的人给你出一些问题,让你用mapreduce来实现？ 比如:现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。6、hadoop中Combiner的作用?Src： http://p-x1984.javaeye.com/blog/859843Q1. Name the most common InputFormats defined in Hadoop? Which one is default ?Fol 阅读全文