随笔分类 -  hive

java通过JDBC连接hive数据库
摘要：（1）首先在命令框中打开hadoop， （2）然后 cd ～；hive --service hiveserver2 & 打开hive连接的权限 （3）新建一个java项目，在项目根目录下新建一个lib文件夹，并将mysql的两个包放入，然后右键——》build path——》add to libra 阅读全文
posted @ 2019-09-10 20:46 王怀宇 阅读(11093) 评论(0) 推荐(0)
hadoop，hive，spark的关系是什么
摘要：今天在开发过程中发现老师给的一个spark实验中大量用到了hive，甚至不用spark也可以完成，于是我就对这两个东西之间的关系去查了一些资料，在这里汇总下 参考链接https://blog.csdn.net/qq_36617639/article/details/80324982 大数据本身是个很 阅读全文
posted @ 2019-09-10 15:30 王怀宇 阅读(817) 评论(0) 推荐(2)
hive窗口函数
摘要：1．相关函数说明 OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 CURRENT ROW：当前行 n PRECEDING：往前n行数据 n FOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， U 阅读全文
posted @ 2019-09-05 18:05 王怀宇 阅读(207) 评论(0) 推荐(1)
hive操作（行转列，列转行）
摘要：一、行转列 1．相关函数说明 CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔 阅读全文
posted @ 2019-09-05 14:58 王怀宇 阅读(11917) 评论(0) 推荐(1)
Hive中使用case then分情况求和
摘要：1. 数据准备（tab分割不要用空格） 悟空 A 男大海 A 男宋宋 B 男凤姐 A 女婷姐 B 女婷婷 B 女 2．需求 求出不同部门男女各多少人。结果如下： 3．新建文件将上述内容写入 4．在hive创建数据表 5．按需求查询 6.结果显示 阅读全文
posted @ 2019-09-05 14:27 王怀宇 阅读(982) 评论(0) 推荐(0)
hive分组排序（rank函数+partiton实现）
摘要：Rank 1．函数说明 RANK() 排序相同时会重复，总数不会变 DENSE_RANK() 排序相同时会重复，总数会减少 ROW_NUMBER() 会根据顺序计算 2．数据准备（手巧时切记用tab分开，不要用空格，会报错0 孙悟空 语文 87孙悟空 数学 95孙悟空 英语 68大海 语文 94大海 阅读全文
posted @ 2019-09-05 13:57 王怀宇 阅读(5198) 评论(0) 推荐(1)
hive小知识（分区&分桶；内部表&外部表）
摘要：（一）内部表&外部表 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认 阅读全文
posted @ 2019-09-04 16:54 王怀宇 阅读(558) 评论(0) 推荐(0)
Hive操作（集合操作，删除表操作）
摘要：（一）集合数据类型 数据类型 描述 语法示例 STRUCT 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP MAP 阅读全文
posted @ 2019-09-04 16:09 王怀宇 阅读(2588) 评论(0) 推荐(1)