DSG-SnapAssure数据库备份技术简述

1      为什么采用磁盘作为备份介质

长期以来，磁带以其经济高效的性能，一直是数据备份的标准介质。但是，与传统的磁带备份方式相比，采用磁盘备份的优势更为明显：备份和恢复速度快，而且是一种更可靠的备份介质。廉价ATA磁盘的出现，减小了磁带和磁盘之间的价格差异，为实现磁盘备份这一技术提供了契机.

恢复的速度更快： 磁盘驱动器的恢复的速度要比磁带驱动器快 - 两者之间是几秒或几分钟与几小时的差异。此外，磁盘支持随机访问和顺序访问，而磁带仅支持顺序访问。支持两种类型可以更快地访问磁盘上的数据文件，提高了整体性能。

从多个磁带盒中恢复数据需要很多耗时的步骤。首先，磁带库必须安装每个磁带；每个磁带耗费的时间达到1分钟。然后必须要加载磁带，这还会占用30秒钟到几分钟。磁带必须定位到所需要的数据；平均访问时间是几分钟。其次，磁带必须重绕和卸载，这将会需要30秒钟到几分钟。在加载磁带之后，这个周期又再次重复。访问第一个字节所需的时间（TTFB）对于磁带来说是几秒钟到几分钟，但对于磁盘来说只有几毫秒。

介质可靠性和数据可用性： 磁盘系统的RAID保护功能增强了数据的可用性，防止磁盘驱动器出现故障时导致数据丢失，而磁带所引起的介质错误是很常见的事情，磁带机、磁头易出机械故障。维护磁带库中的磁带需要经过培训的人员。通过使用磁盘存储方式，IT部门可以减少或消除对磁带的处理。

效率高： 因为RAID保护使磁盘本身更为可靠，所以在使用磁盘是要进行完整备份的次数更少，这就节省了网络和CPU的负担。磁带技术和磁带数据格式往往每几年就发生变化，这就迫使IT部门转换为新的介质。磁盘技术不存在这种转换，因为数据格式不会变化。虽然多路技术允许更快速地写入到磁带或磁盘，但从磁带上恢复多路化的数据要比从磁盘上恢复慢得多。此外，与同等容量的磁带库相比，新的容量更大的磁盘驱动器占用较少的地面空间。

成本低：磁盘技术发展很快，成本不断下降，出现了各种低端的磁盘阵列，如ATA磁盘阵列。此外磁盘备份可降低维护磁带所需的管理成本。

磁带的使用价值在哪里？

归档。用户的备份数据分为两类，一类是需要随时可用的“热数据”,或者说在线备份数据；另外一类是保存起来以备不时之需的“冷数据”，或者说历史数据。

“热数据”能随时用于恢复和其它用途，同时热数据保存的时间短，数据量小；通常企业希望保存三个月的在线备份数据，数据首先备份到磁盘上，然后归档到磁带上，磁盘上备份企业的“热数据”，可以随时进行快速恢复和数据共享；

“冷数据”主要用于保存和归档历史数据，提供给用户进行特殊的历史查询或者历史备份版本的恢复。冷数据保存时间长，数据量大，但使用的机会少，企业通常需要保存3个月以上、甚至超过1年的历史数据。使用磁带来保存“冷数据”，充分利用了它的价廉，容量大，可移动的优点。归档过程不对生产环境产生影响，也避免了其备份恢复速度慢和可靠性差的缺点。

2     SnapAssure优势概览

n  快速的备份和恢复性能

n  备份数据可打开使用

n  支持逻辑恢复，可对表进行恢复

n  硬件成本低

n  支持ORACLE数据库在非归档日志模式下在线热备份

 

3     专有磁盘备份技术

DSGSnapAssure备份技术与传统的备份技术有着本质的不同， 采用了一系列独有的国际专利技术，可解决传统备份技术存在的众多问题。

n  首推智能完全备份技术，采用独创压缩版本文件系统，使日常备份任务变得非常简单，通过增量数据备份就能获得完整的备份版本；

n  独创数据流压缩技术，大幅度减少备份性能受带宽资源限制，降低磁盘存储容量75%以上；

n  独创备份数据可读取技术，无需对备份数据进行恢复即可从备份系统上抽取数据，用于统计分析等。并且这种数据抽取无需数据库系统支持，也不需要特殊的主机环境支持。

n  快速备份、恢复性能，提高备份恢复速度数倍。

SnapAssure是为跨异构平台的服务器和客户端而设计的、企业级的数据保护解决方案，并提供了灵活的升级能力、可管理性和可用性。提供数据的在线保护和粒状恢复。

4     SnapAssure工作原理

DSG SnapAssure采用专利技术优化整个备份过程，并实现备份数据可用性，如下图所示：

SnapAssure采用三层体系结构。

第一层SnapAssure Backup Server，备份管理的核心。用来管理所有客户机备份，恢复，以及备份策略等。

第二层VM Host，VM 主机，连接备份磁盘设备，并在磁盘设备上建立SnapAssure Volume，作为备份的目标。对于数据量较大的应用，可以将其作为VMHost，直接连接备份介质，实施本地备份。如果一台VM Host出现故障，与其关联的客户机备份可以自动路由到另外一台VM Host。VM Host使系统管理员能够易于在维持集中管理的同时，扩展其SnapAssure服务器环境。以LAN-free的方式保护众多的服务器，缩短备份时间，改善网络性能，减少停机时间。

第三层SnapAssure Agent，客户机代理层，主要对服务器和客户机的数据库和应用进行备份，由SnapAssure BackupServer集中管理。

 

4.1   数据抽取

传统备份软件对数据库的备份必须依靠数据库自身提供的备份工具来完成，如ORACLE RMAN等，而这些工具大都需要对数据库进行扫描来识别变化数据块，不仅浪费时间，而且对系统资源占用很大。

 

SnapAssure的优势：采用数据块增量备份技术，实现快速备份 

当应用系统向数据库进行任何操作时，这些信息都将在日志中存储。DSG SnapAssure通过采用专有的技术，对数据库日志进行跟踪、分析，从而获得发生改变的数据块信息，在发起增量备份时，在无需数据库扫描情况下定位增量数据，直接备份，备份速度快，对生产系统的资源占用率低。

4.2   数据压缩

传统技术对备份数据没有进行压缩处理，对网络、存储资源占用大。数据压缩虽然可由备份软件和磁带机完成，但一般不建议打开备份软件的压缩功能。因为对全部备份数据作压缩时，系统的资源占用很大，影响生产系统运行，一般只建议采用磁带机的压缩功能。

SnapAssure的优势：采用数据流实时压缩技术，减少带宽占用，节约磁盘空间 

不同于传统技术先传输后压缩方式，SnapAssure对备份数据进行实时读取、压缩及传送，提高了带宽利用率，减少对生产系统的资源占用。备份过程如下图所示：

 

当SnapAssure server 发出备份命令后，Agent首先将读取数据，然后将数据压缩，如果存储卷在本地，那么Agent将直接存储数据，即write，如果存储卷在远程，就开始网络传输。备份代理模块（agent）可根据指定的长度来确定每次读入的备份数据大小，数据读入内存后进行压缩，压缩后的数据先存在一个buffer中，其长度可以设定。可将buffer分成多个块，块为数据传送的单位，即每一次两个agent之间传送数据量的大小。

SnapAssure采用获得专利的压缩版本文件系统管理备份数据。数据压缩后写入，读出后解压缩。这样应用程序得到的是完整有效的数据，但整个数据处理过程对I/O通道的占用非常小，对数据存储空间的要求也大大降低，能节省超过75%的磁盘空间，并大大缓解数据增长对存储空间和I/O通道的扩展压力。不但压缩率大，而且压缩和解压缩过程对系统资源的占用非常少。在大型电信生产环境中使用的情况表明，其压缩和解压缩过程中对系统CPU的占用少于15%。

4.3   备份数据的组织

传统备份技术作增量恢复，恢复步骤繁琐、难度大。必须先恢复完全备份，再依次逆序恢复各增量备份版本的数据，加大了恢复的时间和难度。

SnapAssure的优势：采用版本管理技术，实现智能完全备份 

SnapAssure内置智能版本管理，每天只需要完成增量备份，系统为每次备份的版本自动逻辑形成完全的数据库版本。因此可以直接恢复任何一个版本，都能获得该版本的完全数据。不同于传统备份技术中必须先恢复完全备份、再依次恢复各增量版本的数据。SnapAssure也无需传统备份复杂的备份策略。其实现为：

版本0为一次全备份版本；版本1为增量备份版本，是对版本0中改变的数据块作备份，而对于版本0中未改变的数据块会在版本1中生成指针，指向版本0对应的数据块，这样对于版本1而言，逻辑上形成一个完全的数据库版本；版本2的实现原理也是如此。

 

4.4   备份数据的访问

传统的备份系统，备份数据必须在恢复后才能使用，这对于备份数据有效性核查、备份数据的使用和历史归档都带来不便

SnapAssure的优势：采用备份数据可读取技术，实现备份数据的可用性 

SnapAssure提供两种方式实现备份数据的复用，如下图所示：

备份数据

方式一：通过XEXP/XIMP工具： 

SnapAssure可支持XEXP/XIMP工具提供对外数据接口。该方式是指外部应用程序调用SnapAssure提供的XEXP接口，读取备份系统上的数据。通过该接口可以得到指定版本下的指定表的全部记录。然后再通过XIMP工具装载入其他数据。

方式二：通过VVFS工具： 

在传统的备份技术中，备份的数据要打开，必须首先进行恢复。VVFS是一种可以直接打开备份数据却无需恢复的技术。使用DSG公司的虚拟文件系统（VVFS），能够直接对备份的数据进行打开读取，实现备份数据的可共享。对于数据库来说，用户通过数据库管理软件Oracle或者特定的API可以对共享的数据进行访问，包括查询和数据提取。

VVFS是一个虚拟的文件系统，通过VVFS可以将SnapAssure备份卷直接Mount在操作系统上，表面上看上去，这个虚拟的文件系统和本地传统的文件系统一样，可以进行正常的访问，可以通过NFS让网络中的其他服务器访问。

VVFS是一个基于Linux内核的文件系统，和传统的UNIX、Linux文件系统不同，VVFS是配合DSG备份系统才能使用的，用来直接打开DSG备份系统的备份数据。

DSG备份系统将数据备份到磁盘时，并不是备份到操作系统的文件目录中，而是备份到事先建立的DSG备份卷，备份卷在用户看来，就是一些预分配空间的大文件，这些大文件以DSG专有格式存在。

在装在了VVFS模块后，通过相应的配置，VVFS和DSG SnapAssure Server通信，获得DSG备份卷的存储信息，将DSG备份卷以本地文件系统的形式在VVFSServer上mount并直接打开DSG备份卷。

DSG的备份卷对于VVFS一般来说是只读的，对于需要写操作的应用需要使用CacheFile功能（SnapShare软件）来保障写操作不会真正发生在备份卷，而是当发生写操作是，写操作会重定向到SnapShare Server的CacheFile中，来确保数据的正常使用。

4.5   恢复功能

传统备份技术通常只支持完全恢复，对于部分恢复非常复杂。实际工程中，80%以上的情况是数据库部分遭到破坏（如数据文件、数据块的破坏等），传统方案只有完全恢复策略，花费大量时间，尤其是不支持对指定表的逻辑恢复功能。

SnapAssure的优势：采用快闪恢复技术，提供精确恢复功能 

 全恢复： 

可对任意指定版本作全恢复。SnapAssure可列出所有的备份版本，用户可根据版本号，选择需要恢复的备份版本作全恢复

文件恢复： 

可对指定文件作恢复。SnapAssure可显示对应版本的所有文件的名称，方便用户选择。

数据块恢复： 

可对指定数据块作恢复。

逻辑恢复： 

SnapAssure提供逻辑恢复功能，可对指定表进行恢复。DSG SnapAssure在保存备份数据时，额外保存了一些信息，用来提供表恢复等高级功能。

4.6   对非归档日志模式的支持

ORACLE数据库在归档日志模式下运行，对数据库性能有一定的影响。对于一些大容量系统，传统备份软件无法实现ORACLE数据库在非归档日志模式下在线热备份

要做到Oracle数据库的在线备份，需要保证两点：一是可以对Oracle的OnlineRedo Log进行归档，二是能够保证热备份出来的数据文件是一致的。

 

Oracle公司提供了两种在线备份Oracle的方法，两种方法都要求Oracle在归档模式。 

方法一：alter tablespace tbs_namebegin backup，alter tablespace tbs_name end backup

该备份方式每次备份对表空间都是做全备份，无法做到块级增量。该备份方式采用备份时封住数据文件头SCN，来保证数据文件备份的一致性，并且在备份期间，对产生的Redo log写多余的恢复信息，来保证数据库恢复。

方法二：rman

该备份方式可以做到块级增量，但是在做增量备份时，需要扫描来发现那些数据块发生了改变，然后在发起备份。rman采用Oracle内部的机制来保证数据库备份的一致性，并且在备份期间，对产生的Redo Log写多余的恢复信息，来保证数据库恢复。

 

DSG 非归档模式在线备份Oracle： 

DSG SnapAssure可以实时跟踪Oracle Current Online RedoLog的修改，并可以将日志即时发送到DSG备份系统，这样DSG可以做到对Oracle日志的归档。

由于DSG SnapAssure备份Oracle时，产生的日志与未进行备份时产生的日志完全一样（Oracle提供的在线备份手段，在备份期间产生的日志都包含了多余的恢复信息）。为了保证在线备份出来的数据文件是一致的，DSG采用了反复备份，逐步收敛的方法来保障数据文件在线备份的一致性。

 

 

 

如上图所示，数据文件在T0时间发起备份，到T1时间完成T0时间开始的增量，再从T1时间开始备份T0到T1时间数据文件产生的增量，到T2时间完T1时间开始的增量，再从T3时间开始备份T1到T2时间数据文件产生的增量，这样采用反复备份，逐步收敛的办法达到数据文件备份的一致，通常反复备份3到5次就可以达到收敛，完成数据文件的一致备份。这种收敛的动作对用户来说都是透明的。这种备份方法的前提是，增量备份的速度足够块，DSG可以做到这一点。

5     SnapAssure模块组成

SnapAssure Server： 

备份服务器模块：运行在备份服务器上，是SnapAssure的控制模块，用来管理所有Agent端的备份，恢复，以及备份策略的管理和执行。

 

SnapAssure Data Management Module： 

备份数据管理模块：该模块安装在备份服务器上，用以管理备份存储空间、对备份数据管理：包括创建备份卷、写入备份数据、维护备份版本之间的关系、在恢复时，读取需要恢复的数据等。

SnapAssure采用磁盘作为备份介质，SnapAssure在发起备份前，必须在备份系统上创建备份卷，备份数据保存在SnapAssure备份卷中。

 

 

SnapAssure Client ： 

备份客户端模块：安装在需要备份的服务器上，提供文件备份功能。如果对应的服务器只需要备份文件系统，则只需要安装该模块，如果是备份数据库，也需要安装该模块，用于支持数据库中的日志文件的备份。

 

SnapAssure Database Agent ： 

该模块为提供对数据库系统的备份支持，其中又分为oracle Agent,Sybase Agent, MS SQL agent等种类，分别用于支持Oracle，Sybase和MSSQL数据库的备份支持。

其中oracle Agent根据数据库运行模式的不同，又分为标准Oracle备份和No archive Log模式的备份两个模块，前者支持ArchiveLog模式下的在线热备，后这支持No archive Log模式的在线热备。目前对于No archive Log模式传统备份软件都不支持在线热备功能。

 

SnapAssure  Advanced Restore： 

SnapAssure增强恢复支持模块，在基本的SnapAssure模块中，恢复功能支持最基本的备份版本完全恢复、表空间恢复功能。而对于实际工程中大量的部分破坏情况无需进行全库恢复或大量的表空间恢复，而只需对破坏的部分直接提供恢复功能，其中包括：

逻辑恢复：提供表恢复功能。

数据块恢复：可对指定数据块作恢复。

 

SnapAssure TapeBackup Client（可选）：

支持将SnapAssure备份数据备份到二级磁带备份系统上，该模块提供将SnapAssure备份数据的某个全备份版本发给磁带备份管理软件（如TSM,VeritasNBU等），由这些磁带库管理软件将数据备份到磁带库上。

 

SnapAssure SnapShare（可选）：

SnapAssure中的VVFS模块，提供一个虚拟的文件系统，通过VVFS可以将SnapAssure备份卷直接Mount在操作系统上，表面上看上去，这个虚拟的文件系统和本地传统的文件系统一样，可以进行正常的访问，可以通过NFS让网络中的其他服务器访问。

6      成功案例客户名录

自从DSG迪思杰（北京）数码技术有限公司于2002年在国内成立以来， DSG 产品和DMP架构已经得到了业界人士的广泛认可，并且在电信、政府、证券、公安、军队等行业已经得到了广泛的应用。

l  中国电信：电信总部、江苏电信、重庆电信、江西电信、广西电信、xinjiang电信、青海电信、海南电信、贵州电信、甘肃电信、宁夏电信以及电信北方事业部；

l  中国移动：江西移动、广西移动；

l  中国网通：辽宁网通、周口通信、沧州通信；

l  中国联通：广东联通、江苏联通、天津联通、辽宁联通、山东联通、陕西联通、四川联通；

l  政府机构：信息产业部（含浙江、江苏、陕西、黑龙江、福建、江西、甘肃、吉林、宁夏和重庆等信产部直属机构）、河北省地方税务局、上海市松江区财政局、广州公安等

l  证券行业：银河证券、长江证券；

军队及其它：海军某部、火箭研究院、陆军某部、杭州电力；