该文被密码保护。 阅读全文
posted @ 2020-12-23 23:47 秋华 阅读(717) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-12-23 23:34 秋华 阅读(267) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-12-23 21:56 秋华 阅读(1034) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2020-12-23 20:04 秋华 阅读(939) 评论(0) 推荐(0)
摘要: 来源:https://www.cnblogs.com/boccer/p/13735162.html 切片机制源码: ①for (FileStatus file: files) 每个文件单独切片。 ②long length = file.getLen() 获取文件大小。 ③while (((doubl 阅读全文
posted @ 2020-12-23 17:18 秋华 阅读(215) 评论(0) 推荐(0)
摘要: 来源:https://www.cnblogs.com/boccer/p/13734379.html 数据切片问题: 先给不懂得同学解释一下概念: 数据块Block:是HDFS物理数据块,一个大文件丢到HDFS上,会被HDFS切分成指定大小的数据块,即Block 数据切片:数据切片是逻辑概念,只是程序 阅读全文
posted @ 2020-12-23 17:13 秋华 阅读(348) 评论(0) 推荐(0)
摘要: 1.udtf介绍及编写 1.1.介绍 HIVE中udtf可以将一行转成一行多列,也可以将一行转成多行多列,使用频率较高。本篇文章通过实际案例剖析udtf的编写及使用方法和原理。阅读本篇文章前请先阅读UDF编写 测试数据 drop table if exists test; create table 阅读全文
posted @ 2020-12-23 16:53 秋华 阅读(354) 评论(0) 推荐(0)
摘要: 来源:https://www.cnblogs.com/xuziyu/p/10754592.html 1 UDF的定义 UDF(User-Defined Functions)即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求,这时就需要我们自定义函数了 2 UDF的分类 UDF:on 阅读全文
posted @ 2020-12-23 16:35 秋华 阅读(471) 评论(0) 推荐(0)