2019年11月21日
ES解除索引只读限制
摘要： 问题出现： ES集群中一台机器硬盘损坏，换上新的硬盘后，数据分片同步，Spark入ES的程序启动失败，ES是3副本存储的 Spark：2.2.0-cdh5.12.0 ES：6.3.2 错误日志： INFO scheduler.TaskSetManager: Lost task 8.1 in stag 阅读全文
posted @ 2019-11-21 17:42 小跑、追幸福 阅读(2738) 评论(0) 推荐(0)
2019年11月19日
Hbase 手动执行MajorCompation
摘要： 说明： Major Compaction 的作用： 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除 由于MajorCompation期间对集群的磁盘IO占和带宽占用较大，所以线上系统一般会禁用此功能，在集群负载较低时手动执 阅读全文
posted @ 2019-11-19 17:35 小跑、追幸福 阅读(1077) 评论(0) 推荐(0)
2019年11月14日
Hbase Region合并
摘要： 业务场景： Kafka+SparkStreaming+Hbase由于数据大量的迁移，再加上业务的改动，新增了很多表，导致rerigon总数接近4万（36个节点） 组件版本： Kafka：2.1.1 Spark：2.2.0-cdh5.12.0 Hbase：1.2.0-cdh5.12.0 问题发现： C 阅读全文
posted @ 2019-11-14 15:12 小跑、追幸福 阅读(1347) 评论(0) 推荐(2)
Hbase snapshot数据迁移
摘要： # 在源集群中创建快照(linux shell) hbase snapshot -t <table_name> -n <snapshot_name> 或(hbase shell) snapshot <table_name>, <snapshot_name> # 将快照从源集群导出到目标集群(linu 阅读全文
posted @ 2019-11-14 14:13 小跑、追幸福 阅读(732) 评论(0) 推荐(0)