摘要：
配置管理概述 Hive从<install-dir>/conf/hive-default.xml中读取它的默认配置 Hive配置目录的位置可以通过设置HIVE_CONF_DIR环境变量的值来改变 配置变量可以被改变，通过<install-dir>/conf/hive-site.xml中重新定义（PS： 阅读全文
posted @ 2017-12-28 11:08
废物大师兄
阅读(440)
评论(0)
推荐(0)
摘要：
https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压，并配置环境变量 在conf目录下新建一个hive-site.xml文件，配置如下 将mysq 阅读全文
posted @ 2017-12-27 23:08
废物大师兄
阅读(331)
评论(0)
推荐(0)
摘要：
http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前，在一个HDFS集群中NameNode存在单点故障。每个集群 阅读全文
posted @ 2017-12-26 21:50
废物大师兄
阅读(480)
评论(0)
推荐(0)
摘要：
http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层： Namespace 由目录、文件和块组成 它支持所有的文件系统命名空间操作，比如， 阅读全文
posted @ 2017-12-26 20:50
废物大师兄
阅读(1020)
评论(0)
推荐(0)
摘要：
Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对，框架会将中间结果按照key进行分组，然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Class)来指定一个Comparator。 Mapper的输出会被 阅读全文
posted @ 2017-12-26 12:42
废物大师兄
阅读(498)
评论(0)
推荐(0)
摘要：
http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的块 阅读全文
posted @ 2017-12-25 23:16
废物大师兄
阅读(679)
评论(0)
推荐(0)
摘要：
http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html Introduction Hadoop分布式文件系统被设计运行在普通的硬件上。它和目前已经存在的分布式文件系统有很多相似的地方。然 阅读全文
posted @ 2017-12-25 12:48
废物大师兄
阅读(798)
评论(0)
推荐(0)
浙公网安备 33010602011771号