摘要：
我们与高手的差别，并不是体现在了解兵器多少，也不是用过兵器多少，更不是和别人讲了多少宝刀宝剑的传说。真正的差距还是在内功上。附件中是关于JAVA虚拟机调优的一些知识，很多程序员coding多年也没有对这部分知识深入的研究过。因为我们在写程序的时候大多关注的是功能，对应用程序的性能关注的少。性能的监视和管理、调优是需要些内功的，这部分知识不能靠基础的技术培训、交流解决，只有自己多多修炼才是正道。《深入Java虚拟机》这本内功书籍需要读啊……一个内功全无的人，高手可以把宝刀（工具、脚本、命令），刀谱（用法）送你，你拿着这些东西去用，但忽视修炼内功心法（原理，理论），可能你只会比普通人强一些，永远都 阅读全文
摘要：
1 摘要测试过程中，经常会遇到莫名的各种问题，可能从开发同学的日志无法发现具体出现问题的原因，本着测试同学深入分析、定位问题的目的，经常需要一些额外的手段获得更多的错误异常信息。我们涉及到（J2EE）系统，经常会出现SQL的问题，包括语法的问题和业务逻辑的问题，所以测试人员需要了解测试业务背后到底做些那些SQL操作，可以通过开源p6spy 组件通过简单的配置完成JAVA相关应用SQL的截取。适读人群：测试设计师、测试经理、质量保证主管、项目经理2 P6Spy介绍如果直接用 JDBC 或者是类 iBatis 的东西来访问数据库，那所执行的 SQL 语句是明确的，可以通过调整log4j的相关配置完 阅读全文
摘要：
一、 启动JournalNode每台机器都要执行：mkdir -p /smp/hadoop-cdh4/bch/chmod -R 777 /smp启动分两种：前台启动是hdfs journalnode后台启动是service hadoop-hdfs-journalnode start每台机器都如此执行。访问web页面 ocdata19:8480,ocdata17:8480,ocdata18:8480检查服务是否正常 --启动后可能会抛异常，没关系，格式化namenode后就好了二、 启动Hadoopa) 登陆cdh-master机器执行 hdfs namenode -format （如果找不到h 阅读全文
摘要：
因为各种原因，临时接到出差任务，windows 2012 server上搭建IIS+PHP+SpecWeb，都没有接触过的任务，还真有点囧。只有半天时间，死马当活马医吧，马上制作计划，赶紧找一个虚拟机，导入前辈们做的镜像和文档对照一个，并手工走一遍，时间太紧了，只能走完两个个整个文档的流程，真是老天捉弄我呀，就是自己估算优先级较低的文档出现了问题，导致此处出现安装后不成功的现象，跟同去的哥们弄了一天一宿也没办法，只能求助公司总部，得到组织团队的支持，再安心整理一下流程，发现细微之处有两处不同，尝试一下，^_^，做IT的就是有胆量，敢于尝试，非常庆幸，安装成功了，喜悦中。。。。嘿嘿，就差跳一个了 阅读全文
摘要：
一、 Hadoop配置修改修改core-site.xml文件 fs.defaultFS hdfs://bch:9000 ha.zookeeper.quorum cdh-master:2181,cdh-node1:2181,cdh-node2:2181 mapred.job.tracker hdfs://172.168.10.251:9001 dfs.replication 1 io.file.buffer.size 131072 修改hdfs-site.xmldfs.nameservicesbchdfs.ha.namenodes.bchnn1,nn2dfs.namenode.... 阅读全文
摘要：
一、 环境部署概况cdh-master172.168.10.251cdh-node1172.168.10.251cdh-node2172.168.10.251三台服务器已按照CDH4 RPM方式安装hadoop，还包括SSH联机，保证三台机器无需密码即可切换用户。搭建两台NAMENODE机器 分别部署在cdh-master和cdh-node1上同时有三台journalnode用来存储namenode元数据有三台zookeeper组成的集群用来管理namenode的状态（active或者standby）当active的namnode出现问题时，standby节点立刻投入使用有一台datanode 阅读全文
摘要：
按备份系统的准备程度，可将其分为冷备份、温备份和热备份三大类。 1.1 冷备份备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境, 应用系统数据没有及时装入备份系统。一旦发生灾难，需安装配置所需的运行环境，用数据备份介质（磁带或光盘）恢复应用数据，手工逐笔或自动批量追补孤立数据，将终端用户通过通讯线路切换到备份系统，恢复业务运行。优点：设备投资较少，节省通信费用，通信环境要求不高。缺点：恢复时间较长，一般要数天至1周，数据完整性与一致性较差。 1.2 温备份将备份系统已安装配置成与当前使用的系统相同或相似的系统和网络运行环境，安装了应用系统业务定期备份数据。一旦发生灾难，直接使用定期 阅读全文
摘要：
根据以上图分析得出以下结论：1、 在上面的hbase配置下，顺序和随机写记录（每条记录1K），每写入86-87M（大小可配）左右数据生成一个磁盘文件（store file）。2、 在上面的hbase配置下，生成4个磁盘文件（store file）后，再生成1个磁盘文件（store file）会触发合并操作（Minor compactions），将4个磁盘文件（store file）合并成一个磁盘文件（store file），同时写入数据生成一个磁盘文件（store file）。3、 在上面的hbase配置下，创建4个预分区，同时向4个分区随机写入记录，每个分区与第二个结论一致。1 建议HDFS 阅读全文
摘要：
第二组：文件存储读过程记录第一组：一个列，四个分区，随机ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./testrand.sh 1310 87 2000000871是否产生一个87M文件。分区二产生一个87M文件。分区三产生一个87M文件。分区四产生一个87M文件。分区一./testrand.sh 1310 87 2000000（重复5次）875是是产生一个343M文件，产生一个98M文件。分区二产生一个345M文件，产生一个86M文件。分区三产生一个343M文件，产生一个98M 阅读全文
摘要：
1.1.1 测试记录第一组：一个列，一个分区，顺序ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./seqData.sh 130 86861是否产生一个87M文件。分区一./seqData.sh 130 86./seqData.sh 131 86./seqData.sh 132 86./seqData.sh 133 86./seqData.sh 134 86865是是产生一个345M文件，产生一个87M文件。分区一./seqData.sh 130 86。。。./seqData.sh 阅读全文