随笔分类 -  Hive学习

Hive是分布式数据仓库
hive-数据模型
摘要：hive支持四种数据模型 为了避免table名称冲突，hive用database作为顶层域名，如果不设定database，就采用default database。 阅读全文
posted @ 2017-11-15 17:37 麻雀虽小五脏俱全 阅读(689) 评论(0) 推荐(0)
hive操作
摘要：1、创建hive分区表： create table invites (id int, name string) partitioned by (ds string) row format delimited fields terminated by 't' stored as textfile; 2 阅读全文
posted @ 2017-11-15 16:23 麻雀虽小五脏俱全 阅读(205) 评论(0) 推荐(0)
hwi-web安装
摘要：hwi是hive的简单简单web端 安装hwi之前需要下载apache-hive-2.1.1-src,将hwi/web的打成hive-hwi-2.1.1.war、安装配置apache-ant-1.10.1-bin.tar 安装ant的时候，因为版本问题花费我大量时间。。。 启动命令：hive --s 阅读全文
posted @ 2017-11-14 17:33 麻雀虽小五脏俱全 阅读(317) 评论(0) 推荐(0)
Hive安装
摘要：安装hive之前，先安装hadoop、mysql 我用的版本说明：hadoop-2.6.5.tar.gz，apache-hive-2.1.1-bin.tar.gz，mysql5.6配置文件：hive-env.xml hive.site.xml(配置hdfs仓库目录，配置mysql) 初始化hive: 阅读全文
posted @ 2017-11-14 17:27 麻雀虽小五脏俱全 阅读(155) 评论(0) 推荐(0)
常用hive的CLI命令
摘要：1、show tables --查看所有表 2、desc tabname --查看表信息 3、dfs -ls 目录 查看hdfs上面的文件 dfs -lsr /user 递归显示目录/user下面的目录文件 4、！linux命令 使用linux命令。 5、source /root/my.sql 执行 阅读全文
posted @ 2016-06-19 19:36 麻雀虽小五脏俱全 阅读(689) 评论(0) 推荐(0)
HQL的执行过程
摘要：解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划（Plan）的生成。生成的查询计划存储在HDFS中，并在随后有mapreduce调用执行。 举个例子： 第一步：输入一条HQL查询语句（select * from tab） 第二步：解析器对这条Hql语句进行语法分析 阅读全文
posted @ 2016-06-19 13:02 麻雀虽小五脏俱全 阅读(1525) 评论(0) 推荐(0)
什么是数据仓库
摘要：什么是数据仓库?带着这个问题进入今天的博客。 数据仓库就是一个数据库，但是有别于我们通常所说的数据库。 数据仓库是一个面向主题的、集成的、不可更新的、随时间变化的数据集合，它用于支持企业或租住的决策分析处理。 数据仓库的结构和创建过程。 数据源：业务数据系统（mysql或Oracle等），文档资料， 阅读全文
posted @ 2016-06-19 10:46 麻雀虽小五脏俱全 阅读(465) 评论(0) 推荐(0)
impala不能查询hive中新增加的表问题
摘要：使用Cloudera Manager部署安装的CDH和Impala，Hive中新增加的表，impala中查询不到，其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件： 将hadooop-core.xml,hdfs-site.xml,hive-site.xml拷贝到c 阅读全文
posted @ 2016-06-12 14:01 麻雀虽小五脏俱全 阅读(1516) 评论(0) 推荐(0)
hive与hbase的联系与区别
摘要：hive与hbase的联系与区别： 共同点： 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。 他们的底层是要通过mapreduce分布式计算的，hbase、hive、pig底层都是这样的。但整体来说hadoop还是比较快的，因为它是进行海量数据存储和分布式计算 阅读全文
posted @ 2016-06-08 18:51 麻雀虽小五脏俱全 阅读(12173) 评论(2) 推荐(3)
hive内部表与外部表区别
摘要：1.创建内部表与外部表的区别是什么？ 2.external关键字的作用是什么？ 3.外部表与内部表的区别是什么？ 4.删除表的时候，内部表与外部表有什么区别？ 5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什 阅读全文
posted @ 2016-06-08 18:28 麻雀虽小五脏俱全 阅读(657) 评论(0) 推荐(0)
hive的初步认识与hive的本质
摘要：Hive是什么？就从这儿开始学习。。。。 Hive是建立在Hadoop hdfs上的数据仓库基础架构。 Hive可以用来数据抽取转换加载（ETL）。 Hive定义了简单的类SQL查询语句，称为HQL。 Hive是SQL解析引擎，它将SQL语句转移成M/R Job,然后在Hadoop上执行。 Hive 阅读全文
posted @ 2016-04-01 14:48 麻雀虽小五脏俱全 阅读(1533) 评论(0) 推荐(0)