2022年10月27日
Hive常见问题
摘要： 1．内存溢出 （1）map阶段 解决：一般存在MapJoin，设置参数set hive.auto.convert.join = false转成reduce端的Common Join。 （2）shuffle阶段 解决：减少每个reduce处理的数据量，调整参数：hive.exec.reducers.b 阅读全文
posted @ 2022-10-27 22:28 业余砖家 阅读(1443) 评论(0) 推荐(0)
Hive实战
摘要： 1．使用hive实现WordCount (1) 创建数据库 create database wordcount; (2) 创建外部表 create external table word_data(line string) row format delimited fields terminated 阅读全文
posted @ 2022-10-27 22:05 业余砖家 阅读(124) 评论(0) 推荐(0)
Hive调优
摘要： 1．Fetch抓取 Fetch抓取是指Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.tem 阅读全文
posted @ 2022-10-27 21:08 业余砖家 阅读(78) 评论(0) 推荐(0)
Java-获取当前时间并进行格式化
摘要： 获取年月日 时分秒 import java.text.SimpleDateFormat; import java.util.Date; Date dt = new Date(); SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:m 阅读全文
posted @ 2022-10-27 09:52 业余砖家 阅读(278) 评论(0) 推荐(0)