摘要：一、 启动JournalNode每台机器都要执行：mkdir -p /smp/hadoop-cdh4/bch/chmod -R 777 /smp启动分两种：前台启动是hdfs journalnode后台启动是service hadoop-hdfs-journalnode start每台机器都如此执行。访问web页面 ocdata19:8480,ocdata17:8480,ocdata18:8480检查服务是否正常 --启动后可能会抛异常，没关系，格式化namenode后就好了二、 启动Hadoopa) 登陆cdh-master机器执行 hdfs namenode -format （如果找不到h 阅读全文

摘要：因为各种原因，临时接到出差任务，windows 2012 server上搭建IIS+PHP+SpecWeb，都没有接触过的任务，还真有点囧。只有半天时间，死马当活马医吧，马上制作计划，赶紧找一个虚拟机，导入前辈们做的镜像和文档对照一个，并手工走一遍，时间太紧了，只能走完两个个整个文档的流程，真是老天捉弄我呀，就是自己估算优先级较低的文档出现了问题，导致此处出现安装后不成功的现象，跟同去的哥们弄了一天一宿也没办法，只能求助公司总部，得到组织团队的支持，再安心整理一下流程，发现细微之处有两处不同，尝试一下，^_^，做IT的就是有胆量，敢于尝试，非常庆幸，安装成功了，喜悦中。。。。嘿嘿，就差跳一个了 阅读全文

摘要：一、 Hadoop配置修改修改core-site.xml文件 fs.defaultFS hdfs://bch:9000 ha.zookeeper.quorum cdh-master:2181,cdh-node1:2181,cdh-node2:2181 mapred.job.tracker hdfs://172.168.10.251:9001 dfs.replication 1 io.file.buffer.size 131072 修改hdfs-site.xmldfs.nameservicesbchdfs.ha.namenodes.bchnn1,nn2dfs.namenode.... 阅读全文

摘要：一、 环境部署概况cdh-master172.168.10.251cdh-node1172.168.10.251cdh-node2172.168.10.251三台服务器已按照CDH4 RPM方式安装hadoop，还包括SSH联机，保证三台机器无需密码即可切换用户。搭建两台NAMENODE机器 分别部署在cdh-master和cdh-node1上同时有三台journalnode用来存储namenode元数据有三台zookeeper组成的集群用来管理namenode的状态（active或者standby）当active的namnode出现问题时，standby节点立刻投入使用有一台datanode 阅读全文

摘要：按备份系统的准备程度，可将其分为冷备份、温备份和热备份三大类。 1.1 冷备份备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境, 应用系统数据没有及时装入备份系统。一旦发生灾难，需安装配置所需的运行环境，用数据备份介质（磁带或光盘）恢复应用数据，手工逐笔或自动批量追补孤立数据，将终端用户通过通讯线路切换到备份系统，恢复业务运行。优点：设备投资较少，节省通信费用，通信环境要求不高。缺点：恢复时间较长，一般要数天至1周，数据完整性与一致性较差。 1.2 温备份将备份系统已安装配置成与当前使用的系统相同或相似的系统和网络运行环境，安装了应用系统业务定期备份数据。一旦发生灾难，直接使用定期 阅读全文

摘要：根据以上图分析得出以下结论：1、 在上面的hbase配置下，顺序和随机写记录（每条记录1K），每写入86-87M（大小可配）左右数据生成一个磁盘文件（store file）。2、 在上面的hbase配置下，生成4个磁盘文件（store file）后，再生成1个磁盘文件（store file）会触发合并操作（Minor compactions），将4个磁盘文件（store file）合并成一个磁盘文件（store file），同时写入数据生成一个磁盘文件（store file）。3、 在上面的hbase配置下，创建4个预分区，同时向4个分区随机写入记录，每个分区与第二个结论一致。1 建议HDFS 阅读全文

摘要：第二组：文件存储读过程记录第一组：一个列，四个分区，随机ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./testrand.sh 1310 87 2000000871是否产生一个87M文件。分区二产生一个87M文件。分区三产生一个87M文件。分区四产生一个87M文件。分区一./testrand.sh 1310 87 2000000（重复5次）875是是产生一个343M文件，产生一个98M文件。分区二产生一个345M文件，产生一个86M文件。分区三产生一个343M文件，产生一个98M 阅读全文

摘要：1.1.1 测试记录第一组：一个列，一个分区，顺序ID测试列和分区测试程序或命令导入文件大小（Mb）导入文件个数（个）是否触发flush事件（布尔）是否触发compact事件（布尔）触发compact结果分区一./seqData.sh 130 86861是否产生一个87M文件。分区一./seqData.sh 130 86./seqData.sh 131 86./seqData.sh 132 86./seqData.sh 133 86./seqData.sh 134 86865是是产生一个345M文件，产生一个87M文件。分区一./seqData.sh 130 86。。。./seqData.sh 阅读全文

摘要：Hbase 配置文件：hbase-site.xml hbase.cluster.distributed true hbase.rootdir hdfs://cdh-master:9000/hbase zookeeper.session.timeout 60000 hbase.zookeeper.quorum cdh-master,cdh-node1,cdh-node2 hbase.zookeeper.property.dataDir /var/lib/zookeeper hbase.master 172.168.10.251:60000 hbase.zookeeper.property.cl. 阅读全文

摘要：hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。HBase中的表一般有这样的特点：1、 大：一个表可以有上亿行，上百万列2、 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3、 稀疏:对于为空(null)的 阅读全文