2017年12月27日
Hive安装
摘要： https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压，并配置环境变量 在conf目录下新建一个hive-site.xml文件，配置如下 将mysq 阅读全文
posted @ 2017-12-27 23:08 废物大师兄 阅读(326) 评论(0) 推荐(0)
2017年12月26日
HDFS High Availability Using the Quorum Journal Manager
摘要： http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前，在一个HDFS集群中NameNode存在单点故障。每个集群 阅读全文
posted @ 2017-12-26 21:50 废物大师兄 阅读(476) 评论(0) 推荐(0)
HDFS Federation
摘要： http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层： Namespace 由目录、文件和块组成 它支持所有的文件系统命名空间操作，比如， 阅读全文
posted @ 2017-12-26 20:50 废物大师兄 阅读(1015) 评论(0) 推荐(0)
MapReduce Tutorial（划重点）
摘要： Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对，框架会将中间结果按照key进行分组，然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Class)来指定一个Comparator。 Mapper的输出会被 阅读全文
posted @ 2017-12-26 12:42 废物大师兄 阅读(496) 评论(0) 推荐(0)
2017年12月25日
MapReduce
摘要： http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的块 阅读全文
posted @ 2017-12-25 23:16 废物大师兄 阅读(674) 评论(0) 推荐(0)
HDFS Architecture
摘要： http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction Hadoop分布式文件系统被设计运行在普通的硬件上。它和目前已经存在的分布式文件系统有很多相似的地方。然 阅读全文
posted @ 2017-12-25 12:48 废物大师兄 阅读(793) 评论(0) 推荐(0)
2017年12月24日
hadoop wordcount
摘要： 阅读全文
posted @ 2017-12-24 12:46 废物大师兄 阅读(353) 评论(0) 推荐(0)
2017年12月23日
hadoop fs命令
摘要： 阅读全文
posted @ 2017-12-23 18:59 废物大师兄 阅读(1246) 评论(0) 推荐(0)
Hadoop2.9.0安装
摘要： 参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoop-env.sh 4、修改core-site.xml 5、修 阅读全文
posted @ 2017-12-23 17:17 废物大师兄 阅读(2008) 评论(0) 推荐(0)
欢迎来到Hadoop
摘要： What Is Apache Hadoop? Hadoop是一个可靠的、可扩展的、分布式计算的开源软件。 Hadoop是一个分布式处理大数据的框架。它被设计成从一台到上千台不等的服务器，每个服务器都提供本地计算和存储的能力。它并非依赖于硬件来提供高可用服务。 Hadoop这个工程包含如下模块： Ha 阅读全文
posted @ 2017-12-23 14:49 废物大师兄 阅读(717) 评论(0) 推荐(1)