2013年9月3日
HBase0.94.2-cdh4.2.0需求评估测试报告1.0之二
摘要： Hbase 配置文件：hbase-site.xml hbase.cluster.distributed true hbase.rootdir hdfs://cdh-master:9000/hbase zookeeper.session.timeout 60000 hbase.zookeeper.quorum cdh-master,cdh-node1,cdh-node2 hbase.zookeeper.property.dataDir /var/lib/zookeeper hbase.master 172.168.10.251:60000 hbase.zookeeper.property.cl. 阅读全文
posted @ 2013-09-03 16:39 小黑金 阅读(474) 评论(0) 推荐(0) 编辑
HBase0.94.2-cdh4.2.0需求评估测试报告1.0之一
摘要： hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。HBase中的表一般有这样的特点：1、 大：一个表可以有上亿行，上百万列2、 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3、 稀疏:对于为空(null)的 阅读全文
posted @ 2013-09-03 16:37 小黑金 阅读(377) 评论(0) 推荐(0) 编辑
2013年7月5日
实现hadoop自动安装包
摘要： 最近研究hadoop，需要安装多个dadanode，想从重复劳动解脱出来，只能自己实现自动安装包，开始考虑使用shell、python等实现，感觉比较费时间，用installshield又有点牛刀小试，搜索后打算使用轻量级的installbuilder工具，废话少说了，开始working。。。BitRock InstallBuilder Multiplatform Enterprise Version: 8.6.0下载地址：http://installbuilder.bitrock.com/download.html[root@patf232~]#chmoda+xhdfs-1.0-linux- 阅读全文
posted @ 2013-07-05 16:57 小黑金 阅读(315) 评论(0) 推荐(0) 编辑
2013年6月28日
自动化测试框架的研究与实用之二
摘要： RF框架扩展关键字•Execute SQL Statement•Start Gateway•End Gateway•Modify Sim Conf•Start Sim•Stop Sim•Sim Log Match•Get App Log•App Log MatchRF框架之用例格式： 阅读全文
posted @ 2013-06-28 15:48 小黑金 阅读(131) 评论(0) 推荐(0) 编辑
自动化测试框架的研究与实用之一
摘要： 自动化测试框架的介绍自动化测试框架的结论与选择RF框架的介绍行业网关应用RF框架注1：Robot Framework 缩写 RF Perl Automation Testing Framework 缩写 PATF什么是框架（FrameWork）？v整个或部分系统的可重用设计，表现为一组抽象构件以及构件实例间交互的方法；v可被开发者定制的应用框架。前者是从应用方面、而后者是从目的方面给出的定义。测试框架也是如此，测试框架出现的最终目的是花少量的资源完成尽可能多的测试任务，所以测试框架的重用性方面是最值得测试人员深入探究的地方录制回放测试框架——由工具录制并记录操作的过程和数据形成脚本，通过回放来 阅读全文
posted @ 2013-06-28 15:42 小黑金 阅读(436) 评论(0) 推荐(0) 编辑
Hadoop4.2HDFS测试报告之六
摘要： 测试结论第一组数据作表格作图：第二组数据作表格作图：根据以上图分析得出以下结论：1、 本地存储的读写速率基本保持23M左右，说明本地存储比较稳定。2、 HDFS存储两个数据节点的读写速率性能比较好，当文件大小为1G时与本地存储性能接近，说明具备高可用性，测试过程中停掉一个节点，正常读写文件，说明也具备高稳定性。3、 HDFS存储两个数据节点的读写速率比HDFS存储单个数据节点的读写速率提升1.6倍，说明具备高性能和高扩展性。4、 HDFS存储在文件大于100M时读写速率15M/s以上，文件大于100M满足预期目标。建议HDFS存储测试建议和问题：1、 hdfs存储对小文件支持的不好。2、 hd 阅读全文
posted @ 2013-06-28 11:12 小黑金 阅读(380) 评论(0) 推荐(0) 编辑
Hadoop4.2HDFS测试报告之四
摘要： 第二组：文件存储读过程记录测试系统组成存储类型测试程序或命令测试文件大小（Mb）文件个数（个）客户端并发数（个）读速率（M/s）NameNode：1DataNode：1本地存储scp romotepath localpath5020123.51NameNode：1DataNode：1HDFS存储hadoop fs -get hdfspath localpath5020113.70NameNode：1DataNode：2HDFS存储hadoop fs -get hdfspath localpath5020114.06NameNode：1本地存储scp romotepath localpath10 阅读全文
posted @ 2013-06-28 11:11 小黑金 阅读(210) 评论(0) 推荐(0) 编辑
Hadoop4.2HDFS测试报告之三
摘要： 第一组：文件存储写过程记录NameNode：1DataNode：1本地存储scp localpath romotepath5002123.67NameNode：1DataNode：1HDFS存储hadoop fs -put localpath hdfspath5002131.92NameNode：1DataNode：2HDFS存储hadoop fs -put localpath hdfspath5002141.39NameNode：1DataNode：1本地存储scp localpath romotepath10001123.26NameNode：1DataNode：1HDFS存储hadoop 阅读全文
posted @ 2013-06-28 11:11 小黑金 阅读(204) 评论(0) 推荐(0) 编辑
Hadoop4.2HDFS测试报告之二
摘要： 第一组：文件存储写过程记录测试系统组成存储类型测试程序或命令测试文件大小（Mb）文件个数（个）客户端并发数（个）写速率（M/s）NameNode：1DataNode：1本地存储scp localpath romotepath5020124.23NameNode：1DataNode：1HDFS存储hadoop fs -put localpath hdfspath5020110.82NameNode：1DataNode：2HDFS存储hadoop fs -put localpath hdfspath5020116.42NameNode：1DataNode：1本地存储scp localpath ro 阅读全文
posted @ 2013-06-28 11:11 小黑金 阅读(281) 评论(0) 推荐(0) 编辑
Hadoop4.2HDFS测试报告之五
摘要： 第二组：文件存储读过程记录NameNode：1DataNode：1本地存储scp romotepath localpath5002123.05NameNode：1DataNode：1HDFS存储hadoop fs -get hdfspath localpath5002128.40NameNode：1DataNode：2HDFS存储hadoop fs -get hdfspath localpath5002142.67NameNode：1DataNode：1本地存储scp romotepath localpath10001124.79NameNode：1DataNode：1HDFS存储hadoop 阅读全文
posted @ 2013-06-28 11:11 小黑金 阅读(177) 评论(0) 推荐(0) 编辑