2016年12月16日
Hive简单安装
摘要： 数据库的创建Hive1版本在此之前要安装好JDK,HADOOP，下载解压Hive在root下安装mysql:yum install mysql-server mysql-client //一般Mysql都是自带的在root下创建hadoop用户：1su到root下2启... 阅读全文
posted @ 2016-12-16 23:03 Beeman_xia 阅读(122) 评论(0) 推荐(0)
shuffle过程简介--笔记
摘要： 数据保存在hdfs上拿到数据后分片处理输入到Map输出键值对写到缓存，满的时候溢写到磁盘缓存的数据写入磁盘的过程中，分区排序，合并多个磁盘文件归并通知Reduce任务拉取Map端的shuffle1输入数据和执行任务：分片后分配Map任务，每个任务分配100M缓存2写入... 阅读全文
posted @ 2016-12-16 22:35 Beeman_xia 阅读(241) 评论(0) 推荐(0)
hive的简单理解--笔记
摘要： Hive的理解数据仓库的工具 Hive仅仅是在hadoop上面包装了SQL；Hive的数据存储在hadoop上Hive的计算由MR进行Hive批量处理数据 Hive的特点1 可扩展性（hadoop）2 延展性3 容错性（MR） 阅读全文
posted @ 2016-12-16 22:12 Beeman_xia 阅读(204) 评论(0) 推荐(0)