2022 年 9月 25 日随笔档案 - WHYBIGDATA

2022年9月25日

摘要： flume HDFS sink 启动时产生大量小文件处理办法转载自：https://blog.csdn.net/qq_37714755/article/details/113243139 1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在阅读全文

posted @ 2022-09-25 21:16 WHYBIGDATA 阅读(124) 评论(0) 推荐(0)

Hive on Tez 的安装配置

摘要： Hive on Tez 的安装配置文章目录 Hive on Tez 的安装配置0. 写在前面1. 起源2. Tez概述3. 安装部署4. 解决日志Jar包冲突 0. 写在前面 Hadoop：Hadoop-2.9.2Hive：Hive-2.3.7Tez：Tez-0.9.0 1. 起源 Hortonw 阅读全文

posted @ 2022-09-25 05:30 WHYBIGDATA 阅读(97) 评论(0) 推荐(0)