摘要: 启用lzo的压缩方式对于小规模集群是很有用处,压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。 安装 准备jar包 1)先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip 2)下载后的文件名是ha 阅读全文
posted @ 2019-07-25 15:27 青衫仗剑 阅读(321) 评论(0) 推荐(0) 编辑
摘要: 简介 Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、Merge、 阅读全文
posted @ 2019-07-25 15:01 青衫仗剑 阅读(1268) 评论(0) 推荐(0) 编辑