Hadoop Hive HBase 系列

Hadoop学习之路（二）Hadoop发展背景

摘要：Hadoop产生的背景 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2. 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的 

 

 

Hadoop学习之路（一）理论基础和逻辑思维

摘要：三个题目 第一题 问题描述 统计出当前这个一行一个IP的文件中，到底哪个IP出现的次数最多 解决思路 问题难点 1、当读取的文件的大小超过内存的大小时，以上的解决方案是不可行的。 2、假如说你的内存足够大，能装下这个文件中的所有ip，整个任务的执行效率会非常低，消耗的时间会非常的长。 1GB 

 

Hive学习之路 （六）Hive SQL之数据类型和存储格式

摘要：一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 和其他的SQL语言一样，这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现，因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如，string类型实现的是Java中的String，flo 

 

HBase学习之路 （四）HBase的API操作

摘要：Eclipse环境搭建 具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html HBase API操作表和数据