01 2017 档案

Hive进阶_汇总
摘要：=========================================================================== 第2章 Hive数据的导入 使用Load语句执行数据的导入： LOAD 导入语句到数据仓库的表当中。 load data [local] inpath 'filepath' [overwrite] into table tablename [p... 阅读全文
posted @ 2017-01-25 18:02 天天好心情啊 阅读(370) 评论(0) 推荐(0)
Hive进阶_开发Hive的自定义函数
摘要：Hive中的自定义函数简介 (1) 在类中创建自定义函数。自定义UDF需要继承'org.apache.hadoop.hive.ql.exec.UDF',实现evaluate函数,evaluate函数支持重载。 (2) 将该类所在的包导出成jar包，放入linux目录下。 (3) 进入hive客户端， 阅读全文
posted @ 2017-01-25 16:28 天天好心情啊 阅读(1933) 评论(0) 推荐(0)
Hive进阶_Hive的客户端操作
摘要：启动远程客户端 # hive --service hiveserver2获取连接-〉创建运行环境-〉执行HQL-〉处理结果-〉释放资源 工具类 1 package demo.utils; 2 3 import java.sql.Connection; 4 import java.sql.Driver 阅读全文
posted @ 2017-01-24 18:09 天天好心情啊 阅读(432) 评论(0) 推荐(0)
java.lang.ClassNotFoundException: org.slf4j.LoggerFactory
摘要：缺少slf4j-api.jar和slf4j-log4j12.jar这两个jar包导致的错误。 阅读全文
posted @ 2017-01-24 17:48 天天好心情啊 阅读(2721) 评论(0) 推荐(0)
java.sql.SQLException: No suitable driver found for jdbc:hive://localhost:10000/default
摘要：error: resolve: url->change hive to hive2 before: after: 阅读全文
posted @ 2017-01-24 17:17 天天好心情啊 阅读(7399) 评论(0) 推荐(1)
Hive进阶_Hive的子查询
摘要：- 集合中如果含null数据，不可使用not in, 可以使用in- hive只支持where和from子句中的子查询- 主查询和自查询可以不是同一张表 阅读全文
posted @ 2017-01-24 14:50 天天好心情啊 阅读(920) 评论(0) 推荐(0)
Hive进阶_Hive的表连接
摘要：等值连接 不等值连接 外连接(取交集) (右外连接) 自连接 阅读全文
posted @ 2017-01-24 14:15 天天好心情啊 阅读(255) 评论(0) 推荐(0)
Hive进阶_内置函数
摘要：Hive数学函数 round : 四舍五入 ceil : 向下取整 floor : 向上取整 Hive字符函数 Hive收集函数和转换函数 Hive日期函数 Hive条件函数 Hive聚合函数和表生成函数 阅读全文
posted @ 2017-01-23 16:00 天天好心情啊 阅读(518) 评论(0) 推荐(0)
Hive进阶_Hive数据查询
摘要：简单查询和fetch task 简单查询： 简单查询的 fetch task 功能，从HDFS拉取，不用map reduce. 前两种配置，当前session有效。修改hive-site.xml永久有效。 查询中使用过滤 在查询中使用排序 排序使用别名时要开启使用别名模式：set hive.grou 阅读全文
posted @ 2017-01-23 15:26 天天好心情啊 阅读(346) 评论(0) 推荐(0)
Hive进阶_Hive数据的导入
摘要：使用Load语句执行数据的导入 语法： explain: local是从本地导入，无local则默认从HDFS导入,overwrite是否覆盖表中存在的数据。 本地：导入本地一个文件 导入本地一个目录下的文件，覆盖原有数据 导入HDFS文件 使用Sqoop进行数据的导入 (1)下载： http:// 阅读全文
posted @ 2017-01-23 14:54 天天好心情啊 阅读(232) 评论(0) 推荐(0)
Hive_Hive的数据模型_汇总
摘要：体系结构： 元数据 /HQL的执行安装： 嵌入 /远程 /本地管理： CLI /web界面 /远程服务数据类型： 基本 /复杂 /时间数据模型： 数据存储 /内部表 /分区表 /外部表 /桶表 /视图 阅读全文
posted @ 2017-01-20 16:00 天天好心情啊 阅读(2150) 评论(0) 推荐(0)
Hive_Hive的数据模型_视图
摘要：- 视图是一种虚表，是一个逻辑概念；可以跨越多张表- 视图建立在已有表的基础上，视图赖以建立的这些表称为基表。- 视图可以简化复杂的查询。 创建视图 查看视图结构 查询视图 阅读全文
posted @ 2017-01-20 15:57 天天好心情啊 阅读(440) 评论(0) 推荐(0)
Hive_Hive的数据模型_桶表
摘要：对数据进行HASH运算，放在不同文件中，降低热块，提高查询速度。 例如：根据sname进行hash运算存入5个桶中。 create table bucket_table(sid int, sname string, age int)clustered by (sname) into 5 bucket 阅读全文
posted @ 2017-01-20 15:48 天天好心情啊 阅读(216) 评论(0) 推荐(0)
Hive_Hive的数据模型_外部表
摘要：Hive的数据模型之外部表 外部表(External Table)- 指向已经在HDFS中存在的数据，可以创建Partition- 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异。- 外部表侄有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个 阅读全文
posted @ 2017-01-20 15:31 天天好心情啊 阅读(515) 评论(0) 推荐(0)
Hive_Hive的数据模型_分区表
摘要：Hive的数据模型之分区表 准备数据表： 准备文本数据： 将文本数据插入到数据表： -partition对应于数据库中的Partition 列的密集索引 -在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。 创建分区表： 向分区表中插 阅读全文
posted @ 2017-01-20 13:30 天天好心情啊 阅读(300) 评论(0) 推荐(0)
Hive_Hive的数据模型_内部表
摘要：Hive的数据模型_内部表 - 与数据库中的Table在概念上是类似。- 每一个Table在Hive中都有一个相应的目录存储数据。- 所有的Table数据(不包括External Table)都保存在这个目录中。 if open the recycle bin function of hdfs . 阅读全文
posted @ 2017-01-20 12:05 天天好心情啊 阅读(225) 评论(0) 推荐(0)
Hive_Hive的数据模型_数据存储
摘要：Hive的数据模型_数据存储 web管理工具察看HDFS文件系统：http://<IP>:50070/ 基于HDFS没有专门的数据存储格式,默认使用制表符存储结构主要包括：数据库，文件，表，视图可以直接加载文本文件创建表时，可以指定Hive数据的列分隔符和行分隔符。 Hive数据模型表：-Table 阅读全文
posted @ 2017-01-20 11:57 天天好心情啊 阅读(381) 评论(0) 推荐(0)
Hive_Hive的安装
摘要：嵌入模式不推荐使用。 本地模式多用于开发和测试。 远程模式多用于生产环境。 阅读全文
posted @ 2017-01-19 15:18 天天好心情啊 阅读(138) 评论(0) 推荐(0)
Hive_Hive体系结构
摘要：元数据： HQL的执行过程 ORACEL 执行计划，Hive 类似。 无索引时，生成全表扫描执行计划，执行全表扫描。 创建索引后，重新生成SQL语句执行计划，基于索引扫描，提高查询效率。 阅读全文
posted @ 2017-01-19 15:00 天天好心情啊 阅读(162) 评论(0) 推荐(0)
Hive_Hive和数据仓库简介
摘要：文章摘自 ： http://www.imooc.com/video/7573 Hive是建立在Hadoop HDFS上的数据仓库基础架构。Hive可以用来进行数据的ETL。Hive定义了简单的类似SQL的语言，称为HQL。 Hive 允许熟悉MapReduce的开发者去开发自定义的mapper和re 阅读全文
posted @ 2017-01-19 14:32 天天好心情啊 阅读(262) 评论(0) 推荐(0)
Hive_Hive的管理_远程服务
摘要：远程服务启动方式 - 端口号10000 - 启动方式： #hive --service hiveserver & 以JDBC或ODBC的程序登陆到hive中操作数据时，必须选用远程服务启动方式，否则连接不上。 阅读全文
posted @ 2017-01-19 13:57 天天好心情啊 阅读(499) 评论(0) 推荐(0)
Hive_Hive的管理_web界面方式
摘要：端口：9999启动方式: hive --service hwi &通过浏览器访问：http://<IP地址>:9999/hwi/ 执行启动命令后，报错，找不到hive-hwi-*.war。 解决方案： (1)下载hive源码文件 可以下载hive-bin.tar对应版本的hive-src.tar，解 阅读全文
posted @ 2017-01-19 13:45 天天好心情啊 阅读(2111) 评论(0) 推荐(0)
Hive_Hive的管理_CLI方式
摘要：Hive的启动方式- CLI- Web UI- 远程服务启动方式 (1)hive命令行的交互模式,进入hive： (2)不进入hive的交互模式,在操作系统的提示符下进行操作: (3)退出hive： (4)清屏： (5)函数： (6)查看表结构： (7)查看HDFS上的文件： (8)递归查看目录结构 阅读全文
posted @ 2017-01-19 13:32 天天好心情啊 阅读(2045) 评论(0) 推荐(0)
Hive_Hive的数据类型
摘要：Hive Complex Data Type： Array： Map: Combine： Struct： Hive Date Data Type： 阅读全文
posted @ 2017-01-18 17:13 天天好心情啊 阅读(299) 评论(0) 推荐(0)
Jasper_crosstab_Parameter_Crosstab Header
摘要：jasper crosstab header use filed value as part of crosstab via pass parameter in crosstab 阅读全文
posted @ 2017-01-17 11:51 天天好心情啊 阅读(710) 评论(0) 推荐(0)
Jasper_style
摘要：(1) text field (2) crosstab (3) table 阅读全文
posted @ 2017-01-16 17:57 天天好心情啊 阅读(283) 评论(0) 推荐(0)
Linux_hadoop_install
摘要：1、 Build Linux env my env is VM RedHat Linux 6.5 64bit set fixed IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 set IP to : 192.168.38.128 modify ho 阅读全文
posted @ 2017-01-09 15:31 天天好心情啊 阅读(263) 评论(0) 推荐(0)
Linux_jdk path (execute and install)
摘要：作者：潇湘隐者 出处：http://www.cnblogs.com/kerrycode/ 1：echo $JAVA_HOME 使用$JAVA_HOME的话能定位JDK的安装路径的前提是配置了环境变量$JAVA_HOME，否则如下所示，根本定位不到JDK的安装路径 [root@localhost ~] 阅读全文
posted @ 2017-01-05 14:15 天天好心情啊 阅读(264) 评论(0) 推荐(0)