摘要: 一、项目背景二、项目架构三、项目实现3.1、数据生产3.1.1、数据结构3.1.2、编写代码3.1.3、打包测试3.2、数据采集/消费(存储)3.2.1、数据采集:采集实时产生的数据到 kafka 集群3.2.2、编写代码:数据消费(HBase)3.2.3、编写测试单元:范围查找数据(本方案已弃用,阅读全文
posted @ 2019-03-18 15:14 黑泽君 阅读(1003) 评论(1) 编辑
摘要: 一、通用优化1.1、NameNode 的元数据备份使用 SSD1.2、定时备份 NameNode 上的元数据1.3、为 NameNode 指定多个元数据目录1.4、设置 dfs.namenode.name.dir.restore 为 true1.5、NameNode 节点必须配置为 Raid1(镜像阅读全文
posted @ 2019-03-18 11:49 黑泽君 阅读(152) 评论(1) 编辑