摘要:Hadoop2.7.3和Ceph0.94结合 Hadoop2.7.3集群环境Ceph0.94 (我部署的centos6.5,单节点集群)按照上一篇hadoop集群搭建手册接着进行部署安装。一、Hadoop节点安装必要的包以及节点间ssh免密码互联需要在Hadoop节点上安装的包有:cephfs-ja...
阅读全文
摘要:概览:目前网卡绑定mode共有七种(0~6)bond0、bond1、bond2、bond3、bond4、bond5、bond6常用的有三种:mode=0:平衡负载模式,有自动备援,但需要”Switch”支援及设定。mode=1:自动备援模式,其中一条线若断线,其他线路将会自动备援。mode=6:平衡...
阅读全文
摘要:一、概念和原理1.1 概念按照误码控制的不同功能,可分为检错码、纠错码和纠删码等。检错码仅具备识别错码功能 而无纠正错码功能;纠错码不仅具备识别错码功能,同时具备纠正错码功能;纠删码则不仅具备识别错码和纠正错码的功能,而且当错码超过纠正范围时可把无法纠错的信息删除。1.2 原理现如今大部分存储设备都...
阅读全文
摘要:Hadoop1.1.2集群环境Ceph0.94 (我部署的centos6.5,单节点集群)按照ceph官网介绍,cephfs替换hdfs,只支持hadoop1.1系列。hadoop集群环境搭建参考我另外一篇文章http://www.178pt.com/archives/160.htmlhadoop2...
阅读全文
摘要:环境:系统:Ubuntu14.04? hadoop1.1.2Master? 192.168.0.221Slave?? 192.168.0.222 在Ubuntu下创建hadoop用户组和用户2台主机都得操作1.添加hadoop用户到系统用户zhang@master:~$?sudo?addgroup?...
阅读全文
摘要:操作系统 hadoop版本 jdk版本Centos6.5/7.2 hadoop2.7.3 jdk-7u79-linux-x64.gz主机列表:master ip: 192.168.0.251slave ip: 192.168.0.253设置hos...
阅读全文
摘要:转自http://blog.csdn.net/scaleqiao/article/details/467532091. 简介Linux通用的SCSI 目标子系统(SCST)是一个为Linux SCSI目标子系统的另一种实现。它是由英国著名存储开发团队ID7研发,目前由SanDisk管理(收购了Fus...
阅读全文
摘要:转自http://blog.csdn.net/scaleqiao/article/details/467448911. 简介Linux-IO Target在Linux内核中(linux 2.6.38后),用软件实现各种SCSI Target,其支持的SAN技术中所有流行的存储协议包括Fibre Ch...
阅读全文
摘要:转自http://blog.csdn.net/scaleqiao/article/details/46706953Linux target framework(tgt)是为创建、维护SCSI target 驱动(包括iSCSI、FC、SRP等)提供支持。它的关键目标是简洁地集成到scsi-mid层,...
阅读全文