随笔分类 -  大数据

hadoop支持lzo完整过程
摘要：简介 启用lzo 启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。 安装lzo lzo并不是linux系统原生支持，所以需要下载安装软件包。这里至少需要安装3个软件包：lzo, lzop, hadoop-gpl-packaging。 增 阅读全文
posted @ 2020-12-05 21:08 ~风铃~ 阅读(1699) 评论(2) 推荐(0)
Spark流程图
摘要：Spark流程图 阅读全文
posted @ 2020-11-01 10:57 ~风铃~ 阅读(339) 评论(0) 推荐(0)
Kafka 0.10.1版本源码 Idea编译
摘要：Kafka 0.10.1版本源码 Idea编译 1.环境准备 Jdk 1.8 Scala 2.11.12：下载scala-2.11.12.msi并配置环境变量 Gradle 5.6.4： 下载Gradle-5.6.4并配置环境变量 2.配置文件修改 -gradle.properties文件中 sca 阅读全文
posted @ 2020-07-25 13:45 ~风铃~ 阅读(509) 评论(0) 推荐(0)