随笔分类 -  Hadoop

摘要:什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。本质是将SQL转换为MapReduce程序。 适用场景 Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大 阅读全文
posted @ 2016-12-22 16:31 大象踢足球 阅读(352) 评论(0) 推荐(0)
摘要:Hbase是什么 HBase是Apache Hadoop中的一个子项目。 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 Hbase依托于Hadoop的HDFS作为最基 阅读全文
posted @ 2016-12-20 16:36 大象踢足球 阅读(239) 评论(0) 推荐(0)
摘要:MapReduce是什么? MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,MapReduce程序本质上是并行运行的,因此可以解决海量数据的计算问题. MapReduce任务过程被分为两个处理阶段:map阶段和reduce阶段.每个阶段都以键值对作为输入和输出.用户只需 阅读全文
posted @ 2016-12-06 10:11 大象踢足球 阅读(205) 评论(0) 推荐(0)
摘要:原文地址:http://www.cnblogs.com/laov/p/3434917.html 简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Goog 阅读全文
posted @ 2016-12-06 10:00 大象踢足球 阅读(197) 评论(0) 推荐(0)
摘要:Hadoop是什么 Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是:HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对 阅读全文
posted @ 2016-12-01 10:25 大象踢足球 阅读(633) 评论(0) 推荐(0)