摘要：根据以上图分析得出以下结论：1、 在上面的hbase配置下，顺序和随机写记录（每条记录1K），每写入86-87M（大小可配）左右数据生成一个磁盘文件（store file）。2、 在上面的hbase配置下，生成4个磁盘文件（store file）后，再生成1个磁盘文件（store file）会触发合并操作（Minor compactions），将4个磁盘文件（store file）合并成一个磁盘文件（store file），同时写入数据生成一个磁盘文件（store file）。3、 在上面的hbase配置下，创建4个预分区，同时向4个分区随机写入记录，每个分区与第二个结论一致。1 建议HDFS 阅读全文

摘要：第二组：文件存储读过程记录第一组：一个列，四个分区，随机ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./testrand.sh 1310 87 2000000871是否产生一个87M文件。分区二产生一个87M文件。分区三产生一个87M文件。分区四产生一个87M文件。分区一./testrand.sh 1310 87 2000000（重复5次）875是是产生一个343M文件，产生一个98M文件。分区二产生一个345M文件，产生一个86M文件。分区三产生一个343M文件，产生一个98M 阅读全文

摘要：1.1.1 测试记录第一组：一个列，一个分区，顺序ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./seqData.sh 130 86861是否产生一个87M文件。分区一./seqData.sh 130 86./seqData.sh 131 86./seqData.sh 132 86./seqData.sh 133 86./seqData.sh 134 86865是是产生一个345M文件，产生一个87M文件。分区一./seqData.sh 130 86。。。./seqData.sh 阅读全文

摘要：Hbase 配置文件：hbase-site.xml hbase.cluster.distributed true hbase.rootdir hdfs://cdh-master:9000/hbase zookeeper.session.timeout 60000 hbase.zookeeper.quorum cdh-master,cdh-node1,cdh-node2 hbase.zookeeper.property.dataDir /var/lib/zookeeper hbase.master 172.168.10.251:60000 hbase.zookeeper.property.cl. 阅读全文

摘要：hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。HBase中的表一般有这样的特点：1、 大：一个表可以有上亿行，上百万列2、 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3、 稀疏:对于为空(null)的 阅读全文

摘要：最近研究hadoop，需要安装多个dadanode，想从重复劳动解脱出来，只能自己实现自动安装包，开始考虑使用shell、python等实现，感觉比较费时间，用installshield又有点牛刀小试，搜索后打算使用轻量级的installbuilder工具，废话少说了，开始working。。。BitRock InstallBuilder Multiplatform Enterprise Version: 8.6.0下载地址：http://installbuilder.bitrock.com/download.html[root@patf232~]#chmoda+xhdfs-1.0-linux- 阅读全文

摘要：测试结论第一组数据作表格作图：第二组数据作表格作图：根据以上图分析得出以下结论：1、 本地存储的读写速率基本保持23M左右，说明本地存储比较稳定。2、 HDFS存储两个数据节点的读写速率性能比较好，当文件大小为1G时与本地存储性能接近，说明具备高可用性，测试过程中停掉一个节点，正常读写文件，说明也具备高稳定性。3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节点的读写速率提升1.6倍，说明具备高性能和高扩展性。4、 HDFS存储在文件大于100M时读写速率15M/s以上，文件大于100M满足预期目标。建议HDFS存储测试建议和问题：1、 hdfs存储对小文件支持的不好。2、 hd 阅读全文

摘要：第一组：文件存储写过程记录测试系统组成存储类型测试程序或命令测试文件大小（Mb）文件个数（个）客户端并发数（个）写速率（M/s）NameNode：1DataNode：1本地存储scp localpath romotepath5020124.23NameNode：1DataNode：1HDFS存储hadoop fs -put localpath hdfspath5020110.82NameNode：1DataNode：2HDFS存储hadoop fs -put localpath hdfspath5020116.42NameNode：1DataNode：1本地存储scp localpath ro 阅读全文

摘要：第一组：文件存储写过程记录NameNode：1DataNode：1本地存储scp localpath romotepath5002123.67NameNode：1DataNode：1HDFS存储hadoop fs -put localpath hdfspath5002131.92NameNode：1DataNode：2HDFS存储hadoop fs -put localpath hdfspath5002141.39NameNode：1DataNode：1本地存储scp localpath romotepath10001123.26NameNode：1DataNode：1HDFS存储hadoop 阅读全文

摘要：第二组：文件存储读过程记录测试系统组成存储类型测试程序或命令测试文件大小（Mb）文件个数（个）客户端并发数（个）读速率（M/s）NameNode：1DataNode：1本地存储scp romotepath localpath5020123.51NameNode：1DataNode：1HDFS存储hadoop fs -get hdfspath localpath5020113.70NameNode：1DataNode：2HDFS存储hadoop fs -get hdfspath localpath5020114.06NameNode：1本地存储scp romotepath localpath10 阅读全文

摘要：第二组：文件存储读过程记录NameNode：1DataNode：1本地存储scp romotepath localpath5002123.05NameNode：1DataNode：1HDFS存储hadoop fs -get hdfspath localpath5002128.40NameNode：1DataNode：2HDFS存储hadoop fs -get hdfspath localpath5002142.67NameNode：1DataNode：1本地存储scp romotepath localpath10001124.79NameNode：1DataNode：1HDFS存储hadoop 阅读全文

摘要：1.1 测试方案1.1.1 测试目标为了验证本地文件系统和HDFS存储能力对比，将1G文件组存储进各个文件系统，记录存储任务消耗的时间。l 测试HDFS的高可用性和高稳定性l 测试HDFS的高性能和高扩展性l 测试HDFS的读写速率大于15M/s1.1.2 测试过程将测试过程分为两组进行：第一组：在本地/root文件夹中创建1G文件组，记录写完成的时间，测试三次，并计算出写速率；在HDFS文件系统中建立/root文件夹，将本地/root文件中的文件（1G文件组）分别写到HDFS文件系统中/root文件夹，记录写完成的时间，测试三次，并计算出写速率；1.1.1 测试过程将测试过程分为两组进行：第 阅读全文