随笔分类 -  Hive

Hive非等值连接
摘要：MySQL和Oracle都支持join...on...like的操作： SELECT * FROM table1 LEFT JOIN table2 ON table1.xxx LIKE CONCAT('%',table2.yyy,'%') 在hive中要想使用非等值连接，可使用locate代替 -- 阅读全文
posted @ 2021-03-29 17:25 勤奋的园 阅读(1626) 评论(0) 推荐(0)
Hive 列转行split函数按\切割Unexpected internal error near index 1 \ ^错误
摘要：能够看到是正则初始化编译时出现了错误，也就是split方法使用的正则写法出现了错误，因此上网找到了比较详细的写法。 故在使用split进行列转行时应该四个\ 阅读全文
posted @ 2021-03-17 13:51 勤奋的园 阅读(1217) 评论(0) 推荐(0)
Hive创建HBase，ES外部表
摘要：1、创建HBase外部表 CREATE EXTERNAL TABLE `ods_women`( `rowkey` string COMMENT 'from deserializer', `article` string COMMENT 'from deserializer', `url` strin 阅读全文
posted @ 2020-11-06 16:46 勤奋的园 阅读(1839) 评论(0) 推荐(0)
Hive 中日志的存放位置
摘要：目前hive启动无法成功，想查看下hive的日志定位问题，但发现hive的安装目录下并没有hive的日志，后来经过在网上谷歌发现： Hive中的日志分为两种 系统日志，记录了hive的运行情况，错误状况。 Job 日志，记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ？ 在hi 阅读全文
posted @ 2020-08-20 17:50 勤奋的园 阅读(2086) 评论(0) 推荐(0)
<<Hive编程指南>>读书笔记
摘要：1. 设置hive以本地模式运行(即使当前用户是在分布式模式或伪分布式模式下执行也使用这种模式) set hive.exec.model.local.auto=true; 若想默认使用这个配置,可以将这个命令添加到$HOME/.hiverc文件中 2. 当频繁使用hadoop dfs命令时，最好为这 阅读全文
posted @ 2020-05-05 17:55 勤奋的园 阅读(269) 评论(0) 推荐(0)
数据仓库核心概念
摘要：数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 关于其定义，数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》 阅读全文
posted @ 2020-04-23 20:33 勤奋的园 阅读(1021) 评论(0) 推荐(0)
Java程序操作Hive
摘要：1、hive的lib+jdbc，还要把mysql的连接驱动加载过来 2、编写程序 开启远程服务：[root@zhiyou ~]# hiveserver2 &[1] 4127[root@zhiyou ~]# package com.zy.test; import java.sql.*; public 阅读全文
posted @ 2019-08-26 14:28 勤奋的园 阅读(874) 评论(0) 推荐(0)