随笔分类 - 存储HA
摘要:一、 启动JournalNode每台机器都要执行:mkdir -p /smp/hadoop-cdh4/bch/chmod -R 777 /smp启动分两种:前台启动是hdfs journalnode后台启动是service hadoop-hdfs-journalnode start每台机器都如此执行。访问web页面 ocdata19:8480,ocdata17:8480,ocdata18:8480检查服务是否正常 --启动后可能会抛异常,没关系,格式化namenode后就好了二、 启动Hadoopa) 登陆cdh-master机器执行 hdfs namenode -format (如果找不到h
阅读全文
摘要:一、 Hadoop配置修改修改core-site.xml文件 fs.defaultFS hdfs://bch:9000 ha.zookeeper.quorum cdh-master:2181,cdh-node1:2181,cdh-node2:2181 mapred.job.tracker hdfs://172.168.10.251:9001 dfs.replication 1 io.file.buffer.size 131072 修改hdfs-site.xmldfs.nameservicesbchdfs.ha.namenodes.bchnn1,nn2dfs.namenode....
阅读全文
摘要:一、 环境部署概况cdh-master172.168.10.251cdh-node1172.168.10.251cdh-node2172.168.10.251三台服务器已按照CDH4 RPM方式安装hadoop,还包括SSH联机,保证三台机器无需密码即可切换用户。搭建两台NAMENODE机器 分别部署在cdh-master和cdh-node1上同时有三台journalnode用来存储namenode元数据有三台zookeeper组成的集群用来管理namenode的状态(active或者standby)当active的namnode出现问题时,standby节点立刻投入使用有一台datanode
阅读全文
摘要:按备份系统的准备程度,可将其分为冷备份、温备份和热备份三大类。 1.1 冷备份备份系统未安装或未配置成与当前使用的系统相同或相似的运行环境, 应用系统数据没有及时装入备份系统。一旦发生灾难,需安装配置所需的运行环境,用数据备份介质(磁带或光盘)恢复应用数据,手工逐笔或自动批量追补孤立数据,将终端用户通过通讯线路切换到备份系统,恢复业务运行。优点:设备投资较少,节省通信费用,通信环境要求不高。缺点:恢复时间较长,一般要数天至1周,数据完整性与一致性较差。 1.2 温备份将备份系统已安装配置成与当前使用的系统相同或相似的系统和网络运行环境,安装了应用系统业务定期备份数据。一旦发生灾难,直接使用定期
阅读全文