摘要：
按备份系统的准备程度，可将其分为冷备份、温备份和热备份三大类。 1.1 冷备份备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境, 应用系统数据没有及时装入备份系统。一旦发生灾难，需安装配置所需的运行环境，用数据备份介质（磁带或光盘）恢复应用数据，手工逐笔或自动批量追补孤立数据，将终端用户通过通讯线路切换到备份系统，恢复业务运行。优点：设备投资较少，节省通信费用，通信环境要求不高。缺点：恢复时间较长，一般要数天至1周，数据完整性与一致性较差。 1.2 温备份将备份系统已安装配置成与当前使用的系统相同或相似的系统和网络运行环境，安装了应用系统业务定期备份数据。一旦发生灾难，直接使用定期 阅读全文
posted @ 2013-09-03 17:06
小黑金
阅读(326)
评论(0)
推荐(0)
摘要：
根据以上图分析得出以下结论：1、 在上面的hbase配置下，顺序和随机写记录（每条记录1K），每写入86-87M（大小可配）左右数据生成一个磁盘文件（store file）。2、 在上面的hbase配置下，生成4个磁盘文件（store file）后，再生成1个磁盘文件（store file）会触发合并操作（Minor compactions），将4个磁盘文件（store file）合并成一个磁盘文件（store file），同时写入数据生成一个磁盘文件（store file）。3、 在上面的hbase配置下，创建4个预分区，同时向4个分区随机写入记录，每个分区与第二个结论一致。1 建议HDFS 阅读全文
posted @ 2013-09-03 17:04
小黑金
阅读(334)
评论(0)
推荐(0)
摘要：
第二组：文件存储读过程记录第一组：一个列，四个分区，随机ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./testrand.sh 1310 87 2000000871是否产生一个87M文件。分区二产生一个87M文件。分区三产生一个87M文件。分区四产生一个87M文件。分区一./testrand.sh 1310 87 2000000（重复5次）875是是产生一个343M文件，产生一个98M文件。分区二产生一个345M文件，产生一个86M文件。分区三产生一个343M文件，产生一个98M 阅读全文
posted @ 2013-09-03 16:56
小黑金
阅读(218)
评论(0)
推荐(0)
摘要：
1.1.1 测试记录第一组：一个列，一个分区，顺序ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./seqData.sh 130 86861是否产生一个87M文件。分区一./seqData.sh 130 86./seqData.sh 131 86./seqData.sh 132 86./seqData.sh 133 86./seqData.sh 134 86865是是产生一个345M文件，产生一个87M文件。分区一./seqData.sh 130 86。。。./seqData.sh 阅读全文
posted @ 2013-09-03 16:47
小黑金
阅读(206)
评论(0)
推荐(0)
摘要：
Hbase 配置文件：hbase-site.xml hbase.cluster.distributed true hbase.rootdir hdfs://cdh-master:9000/hbase zookeeper.session.timeout 60000 hbase.zookeeper.quorum cdh-master,cdh-node1,cdh-node2 hbase.zookeeper.property.dataDir /var/lib/zookeeper hbase.master 172.168.10.251:60000 hbase.zookeeper.property.cl. 阅读全文
posted @ 2013-09-03 16:39
小黑金
阅读(479)
评论(0)
推荐(0)
摘要：
hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。HBase中的表一般有这样的特点：1、 大：一个表可以有上亿行，上百万列2、 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3、 稀疏:对于为空(null)的 阅读全文
posted @ 2013-09-03 16:37
小黑金
阅读(392)
评论(0)
推荐(0)
浙公网安备 33010602011771号