摘要：
数据迁移备份，更多的应用场景见https://docs.azure.cn/zh-cn/storage/common/storage-moving-data?toc=%2fstorage%2fblobs%2ftoc.json 本文档是针对近期数据冷热备份实际工作的一个小结。实际使用过Azcopy和Az 阅读全文
posted @ 2017-09-04 19:10
闲汉
阅读(944)
评论(0)
推荐(0)
摘要：
前提说明： 1、HBase数据分表，所以备份的粒度是表。 2、备份的内容为Azure的Blob存储。 HBase Blob备份 备份时，需要先将表disable，以保持数据一致性。 备份的工具可以用Azcopy，或者Azure Client等。各种工具另一篇单独介绍。其它没什么可说的。 备份完成后， 阅读全文
posted @ 2017-09-04 18:00
闲汉
阅读(1493)
评论(4)
推荐(0)
摘要：
基于上一篇的压缩算法对比分析报告，选择了LZ4算法的普通模式，其测试压缩率为28%，20G压缩时间为256s，估计1T的冷备时间为3.5h。 接下来，将23T的HBase历史数据进行了压缩冷备，压缩后大小为3.5T，冷备耗时311h。实际压缩率为15%，平均1T的冷备时间为13h，这与测试结论有出入 阅读全文
posted @ 2017-09-04 11:09
闲汉
阅读(586)
评论(0)
推荐(0)
摘要：
背景说明： 近期公司的数据增量迅速增长，存储的成本太高，需要采用生命周期进行管理，热存储中的数据或者被删除，或者备份至冷存储。但是冷备时是否要压缩，需要进行验证。Azure本身没有提供压缩的接口，只能自己处理。以下是测试的结论。 备份压缩步骤 采用压缩流。验证了两种方式，方式一在文件较大时（>3G） 阅读全文
posted @ 2017-09-04 10:49
闲汉
阅读(813)
评论(0)
推荐(0)
浙公网安备 33010602011771号