云计算之云存储相关概念

网盘,又称网络U盘、网络硬盘,早期的网盘就是网络公司将其服务器的硬盘或硬盘阵列中的一部分容量分给注册用户使用,容量有限,速度也有限制。最新应用的云计算储存技术,为网盘行业带来了新的革命,传统的网盘将逐步被云存储取代。

云存储是构建在高速分布式存储网络上的数据中心,它将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,形成一个安全的数据存储和访问的系统,云存储最大优势在于将单一的存储产品转换为数据存储与服务。

云存储技术基于虚拟化

我们应该要正确的理解云计算背景下的云存储,各大提供云存储技术服务的网盘公司,如百度、360、腾讯、金山所以采用的云存储技术与传统的硬件存储技术有何区别呢?

首先要介绍云计算,云计算的核心技术之一就是虚拟化,把存储、计算、网络资源进行虚拟化,以方便像OpenStack这样的云计算管理工具来对资源进行软件化的配置。因此,现在的云存储都是建立在存储虚拟化技术的基础上的,通常对存储资源的虚拟化工作都是由hypervisor程序来完成的。

传统物理(硬件)存储技术的原理:

传统的物理存储技术也就是我们所常见的硬盘,它没有经过虚拟化这一层,这就是目前所说的云存储和传统存储的一个重要区别,我们称传统的存储技术为物理存储主要是相对于虚拟云存储而言。

物理存储技术主要可以分成三种类型:

1、存储域网络(SAN:意思是storage area network):存储域网络是通过光纤通道连接到一群计算机上,建立专用于数据存储的区域网络。在SAN的环境中,可以把一组硬盘(或者这组硬盘的一部分)组成具有逻辑性的单元(LUN:logic unit),LUN就像一块硬盘。一般常见的SAN协议是iSCSI和FC。LUN是管理SAN的主要单位,与DAS的磁盘是一样的,LUN也只能连接一台主机,也就是说,是不可以多台主机同时访问一个LUN,这就不利于文件共享。为了解决文件共享的问题,之后又提出了NAS的技术。

2、网络附属存储(NAS):NAS是一种专用数据存储服务器,包括存储器件和内嵌系统软件,NAS可以实现跨平台文件共享功能,NAS也可以允许分配一部分存储空间组成一个文件系统类型。

3、直连存储(DAS:意思是direct attached storage):相对来讲这是最简单的存储类型,我们的个人计算机都属于这种,就是磁盘(或磁盘阵列RAID)直接接在主机的总线上。磁盘阵列是由很多价格较便宜的磁盘,组合成一个容量巨大的磁盘组。采用这种技术是将数据切割成许多区段,分别存放在各个硬盘上面,不仅可以提高存取效率,还可以通过冗余来提高系统可用性。

云存储的种类划分及属性特征:

 

符合云存储特征的存储设备,称为云存储。云存储有不同的种类,应用在不同的云服务环境。从数据的存储访问的方式来区分,云存储包括数据块级云存储、文件级云存储和对象级云存储。

这三种类型是由存储局域网(SAN)、网络附加存储(NAS)和内容访问存储(CAS)分别发展而来。

 

1、数据块级云存储

 

指提供高速的直接的数据块存储访问服务。前端的计算节点通过光纤网络访问协议访问存储,获得高速、稳定、有保障的数据访问。这种模型源于在关键业务系统中久经验证的存储局域网SAN模型。不过在云存储的时代,改为分布式的并行扩展模式,并增加了以上讨论的其它云存储特征。

由于此模型采用的是高带宽、低延迟、可靠的光纤网络存储访问协议,前端计算节点独享或少量共享存储内容的数据结构,因此,和前端的计算节点是属于紧耦合的关系。

 

2、文件级云存储

 

通过网络文件系统访问协议提供文件级的存储访问服务。这种模型源于网络附加存储NAS的模型,计算节点通过以太网的协议,在其上构建区域内相对快速、安全、可靠的网络文件系统来获得文件的访问服务。不过在云存储的时代,文件级云存储突破了传统NAS访问空间的局限,提供了高达PB级的全局命名空间的访问能力,和以上讨论的其它云存储特征。

这种模型和前端节点是C/S的模型,二者采用树状的文件系统结构来存储和访问数据,属于中耦合的关系,在区域内性能有足够的保证。

 

3、对象级云存储

 

通过广域网的面向对象的访问协议来获取对象级的存储访问服务。对象和文件既有相似之处,也有区别。对象通常改动较少,并且拥有许多的属性,而且为多租户使用。这种模型源自于早期EMC推出的CAS存储系统。但是,在云存储时代,突破了访问地域的限制,借助于面向对象的访问协议,用户可以在全球任何地点访问对象级存储云中储存的对象内容。对象级云存储面向的是海量的各种尺寸、不同格式的对象内容,为提高访问效率,前端计算节点并不关心对象级云存储内部的存储方法和数据结构的模型。属于松耦合的关系。

 

那么数据块级云存储、文件级云存储、对象级云存储和原来的SAN,NAS,CAS有什么不同呢?

区别主要在云存储具备的属性特征,传统存储设备并不具备。云存储具备以下的属性特征

 

1、分布式的并行扩展架构

 

云存储可以根据需求动态、灵活、按需地进行扩展,因此云存储和原来传统存储的纵向扩展(scale-up)的架构不同,采用的是横向扩展(scale-out)的方式进行。通常,云存储的节点之间会通过网络进行连接当需要扩展时只需要把新的节点并入到网络中即可。显然,网络在云存储中是非常关键的。选择何种网络和云存储应用的环境有着紧密联系。在需要性能敏感的应用环境中(如事务处理)云存储内的网络结构需要高带宽、低延迟的网络,以保证节点与节点之间的连接得到充分的性能保障。因此这样的云存储在目前的技术现实下通常只是在区域内进行扩展在广域范围内进行扩展的需求仅在极少的应用需求中出现。而在性能不敏感的应用环境中(如网络硬盘),云存储的扩展可以扩展到广域的范围,因此,云存储内的网络结构通常是一种相对松祸合的形式(如以太网)。还有一种模型是采用中小型的云存储通过松祸合的结构来建设存储云服务的。这种架构内部网络要求可以降低,同时节点间的访问性能也是不需要严格要求的。

 

2、虚拟化感知

 

云存储适用于云计算的环境,云计算最重要的一个特点是计算会根据需要进行飘移比如虚拟机会在前端的物理机之间进行迁移。这要求云存储具备虚拟化感知的能力,在前端的虚拟应用发生迁移后能够继续提供同样的服务。虚拟化感知的能力根据前端计算的耦合程度而有高低。

 

3、分层存储

 

每种类型的云存储都具备巨大的扩展能力通常存储容量都是高达PB级的。这样在同种存储类型中就存在提供同种访问类型,但是不同访问能力的需求。随着用户数据蚤的增加,以及用户对历史数据保存的重要性的意识增强数据不仅仅有存储的需求,同时归档的需求也日益提升到IT的规划中。在没有分层存储能力的时代归档的实现是很困难的,尤其是对于结构化的数据。但是有了分层存储能力后,归档的实现就变得非常简单。系统可以自动在后台实现数据的归档根据数据的重要性以及访问的需求在不同的存储能力层中进行迁移。这样的实现对于应用系统是完全透明的。换言之,是应用紧祸合型的归档,即不用改动应用程序就可以获得***的整体成本。因此,云存储对于分层存储的能力是必须的。

 

4、智能空间分配

 

资源层的云计算理念是为了把相同访问特点的应用集中共享资源并且动态、灵活、按需进行资源分配和使用,以达到资源的***利用和安全、坚固的应用保护。在云计算的环境中,站在IT管理的角度,对于上层的应用是非常难以把握的。这点在IDC的环境中尤其是这样谁能保证IDC内只能满足Web服务器的应用,而不可能出现高性能计算的需求呢,因此,云存储内部需要具备智能空间分配的能力,以满足各种客户、各种不同类型应用的需求。那么固定的空间分配能力显然既不符合用户“按需”的使用要求也不符合运营者的资源利用要求。因此,只有智能的空间分配才能够满足双方的利益诉求。

 

posted @ 2018-12-15 21:34  勋爵|X-knight  阅读(676)  评论(0)    收藏  举报