随笔分类 -  hive

hive与hbase集成
摘要：环境: hadoop2.7.7 hive3.1.0 hbase2.0.2 1.jar包拷贝(之所以用这种方式,是因为这种方式最为稳妥,最开始用的软连接的方式,总是却少jar包)到hive的lib目录下删除所有hbase相关的jar rm -rf hbase-*.jar 接着从hbase的lib目录下 阅读全文
posted @ 2018-11-19 19:30 tele 阅读(1112) 评论(0) 推荐(0)
hive character '' not supported here
摘要：把在windows环境下编写的sql使用UTF-8无BOM保存后,再上传执行即可 阅读全文
posted @ 2018-11-04 19:50 tele 阅读(1950) 评论(0) 推荐(0)
hive 自定义函数
摘要：1.编写java类,继承UDF,注意方法名需要覆盖evaluate方法.之前测试时发现方法名可以任意,后来发现还是不行,所以还是用evalute这个方法名吧 2.打成jar包上传到linux上 3,启动hive后进行关联 add jar /opt/module/data/jar/test.jar; 阅读全文
posted @ 2018-10-30 22:13 tele 阅读(3366) 评论(0) 推荐(0)
hive 导出数据的几种方式
摘要：1.使用insert导出 这种方式的优点在于既可以导出到hdfs上还可以导出到本地目录 下面以导出emp表中数据为例 insert overwrite local directory "/opt/module/data/export/emp" 如果去除local,则是导出到hdfs上 row for 阅读全文
posted @ 2018-10-27 14:44 tele 阅读(1493) 评论(0) 推荐(0)
hive 分区表与数据产生关联的三种方式
摘要：所谓关联,可以理解为能够使用select查询到 1.load 这是最常用的一种方式 load data [local] inpath "数据路径" into table table_name partition(分区字段) 使用load加载数据会自动创建分区的,这样你加载的数据就会和分区表进行关联, 阅读全文
posted @ 2018-10-22 12:58 tele 阅读(1932) 评论(0) 推荐(0)
hive 日志配置/表头配置
摘要：1.日志配置,拷贝hive/conf下的hive-log4j2.properties.template为hive-log4j2.properties,修改日志目录,接下来在创建hive/logs,目录即可 2.表头配置,在hive-site,xml中增加如下属性 重启hive即可 阅读全文
posted @ 2018-10-18 21:18 tele 阅读(1492) 评论(0) 推荐(0)
hive 3.1.0 安装配置
摘要：环境: hadoop 3.1.1 hive 3.1.0 mysql 8.0.11 安装前准备: 准备好mysql-connector-java-8.0.12.jar驱动包 上传hive的tar包并解压 第一步: 进入hive/conf,拷贝hive-env.sh.template 为hive-env 阅读全文
posted @ 2018-10-17 20:39 tele 阅读(3688) 评论(0) 推荐(0)