随笔分类 -  大数据

大数据相关问题，如集群搭建，相关组件hbase，hdfs，spark，hive，zookeeper等等
HBASE文件太大，磁盘空间不足，清楚日志oldWALs
摘要：版本信息 Hadoop: 3.0.0-cdh6.3.2 hbase : 2.1.0-cdh6.3.2 当/hbase/WALs中的HLog文件被持久化到存储文件中，且这些Hlog日志文件不再被需要时，就会被转移到{hbase.rootdir}/oldWALs目录下，该目录由HMaster上的定时任务 阅读全文
posted @ 2021-01-08 16:51 嘿十三 阅读(2671) 评论(0) 推荐(0)
hbase之snapshot方式数据同步 hbase数据迁移
摘要：前提说明： Hadoop: 3.0.0-cdh6.3.2 hbase : 2.1.0-cdh6.3.2 cluster01 的hdfs连接： 172.18.26.6:8020 cluster02 的hdfs连接：172.18.10.90:8020 cluster01 与 cluster02 网络端口 阅读全文
posted @ 2020-12-19 18:02 嘿十三 阅读(992) 评论(0) 推荐(0)