Find Communities by: Category | Product

     1. DataDomain复制分为两种,一种由DataDomain控制(DataDomain Native Replication),另一种由备份软件控制(Managed File Replication)。

   

 

 

     2. 使用DataDomain复制需要在两端DataDomain设备安装复制授权许可(Replication License)。

 

 

 

     3. DataDomain复制的特点是带宽高效利用,因为
          1)它复制的是重复数据删除后并压缩过的数据;
          2)复制时源端设备发送复制数据的索引(Index)到目标端设备,如果索引已存在,那么目标端设备创建文件并引用现有索引;如果索引不存在,那么源端设备发送复制数据的字段(Segment)到目标端设备。
          3)发送索引只占用少量网络带宽。

 

 

 

     4. DataDomain控制的复制分为三类,分别是Directory,Mtree和Collection。它们复制的是整个目录或者文件系统。一旦配置并初始化,复制将自动运行。
          1)Directory Replication复制的是/data/col1/backup下的子目录;
          2)Mtree Replication复制的是除/data/col1/backup的其它Mtree;
          3)Collection Replication复制的是整个文件系统,包括backup和其它的Mtree。
          * 在DataDomain图形管理界面(Web GUI),复制VTL虚拟磁带池的复制被称为Pool Replication。如果虚拟磁带池使用兼容模式(Backwards Compatibility Mode),那么磁带路径为/data/col1/backup/vtc/<pool_name>/<tape_barcode>,复制实际为Directory Replication;如果虚拟磁带池使用Mtree模式,那么磁带路径为/data/col1/<pool_name>/.vtc/<tape_barcode>,复制实际为Mtree Replication。所有的Pool Replication在DD命令行(CLI)中显示为实际的复制类型(Directory Replication或Mtree Replication)。

 

 

 

     5. 备份软件控制的复制(Managed File Replication)有多种名称,比如在NetBackup中称为SLP(Storage Lifecycle Policy),在NetWorker中称为CCR(Clone Controlled Replication)。它们复制的对象是DDBoost Mtree下面的某个文件。在配置好以后,由备份软件发起,由DataDomain完成并通知备份软件结果。

 

 

 

     6. DataDomain复制支持多种结构,包括一对一(A->B),双向(A->B, B->A),一对多(A->B, A->C),多对一(A->C, B->C)和串联(A->B->C)等。不同的复制类型支持的结构略有不同。

 

 

 

     7. DataDomain控制的Directory Replication和Mtree Replication支持两端设备的DDOS版本差异为不超过两个版本(比如5.0.x和5.2.x),但是Collection Replication要求两端设备运行相同版本DDOS。备份软件控制的Managed File Replication要求目标端设备使用相同或者更高版本DDOS。

 

 

 

     8. Directory Replication
          1)通过复制日志顺序记录复制源目录的操作,包括创建,写入,修改,删除。
          2)系统每隔15分钟检测一次复制源目录是否有变动。
          3)在初始化(initialize)和重新同步(resync)的三个阶段的阶段一中(phase 1 of 3),源端目录不能被写入。
          4)在重新同步时,目标端设备需对目标目录现有数据创建快照并删除所有现有数据,如果现有数据为数量众多的小文件(数百万甚至更多),那么重新同步的阶段一周期将大幅延长直到删除完成(可以达到数小时)。建议在针对文件数量众多的目标端目录进行重新同步时,尽量安排在源端目录没有备份任务时进行。
          5)同一设备可配置多个Directory Replication。

 

 

 

     9. Mtree Replication
          1)通过快照(Snapshot)记录源端Mtree在特定时间的内容,并将快照发送到目标端端设备的目标Mtree。
          2)在复制全部完成的情况下,系统每隔15分钟为源端Mtree创建一个快照。
          3)如果发送上一个快照耗费超过15分钟,那么发送完成后系统立即创建下一个快照。如果没有,那在距离上一快照创建15分钟时,系统创建下一快照。
          4)如果有用户自定义生成的快照,那么系统将在发送完成上一个快照之后立即发送用户自定义快照,并且在发送用户自定义快照时,系统停止自动生成快照。
          5)在初始化(initialize)和重新同步(resync)的三个阶段的阶段一中(phase 1 of 3),源端目录可以被写入。
          6)同一设备可配置多个Mtree Replication。
          7)剩余同步数量(Pre-Comp Remaining)在初始化(initialize)和重新同步(resync)不准确,在完成立即更新正确的数值(即初始化或重新同步1TB数据时,看到的剩余同步数量可能为10TB)。

 

 

 

     10. Collection Replication
          1)通过块级别变动记录需要复制的内容。
          2)每当文件系统的某块有数据修改,那么源端设备立即发送该变动到目标端设备。
          3)不能被重新同步(resync)。
          4)同一设备只可配置一个Collection Replication。

 

 

 

    11. Manage File Replication
          1)由备份软件定义和发起。
          2)由DataDomain执行和返回结果。
          * 目前DDOS版本中,如备份软件中途停止Manage File Replication,备份软件会立即记录复制失败,但在DataDomain上,复制会继续运行直至当前文件全部传输完成并不能通过命令行或者图形管理界面终止,如果实在立即停止DataDomain复制该文件,可以考虑重启DataDomain文件系统或者关闭DDBoost功能(因影响整个文件系统和DDBoost功能,不建议使用)。如复制完成,目标端设备的备份文件不能被软件软件直接调用。

 

 

 

     12. DataDomain Replication Throttle
          1)DataDomain复制使用的网络带宽可由DataDomain Replication Throttle限制。
          2)DDOS 5.5以前,所有源端设备上的复制对(Replication pair/context)使用同一Throttle。
          3)从DDOS 5.5开始,不同目标的复制对可配置不同的Throttle。
          4)Throttle需要在源端设备配置,但如果目标端设备的Throttle设置为0(disabled),那么到该目标端设备的复制对将停止复制。
          5)Throttle对DataDomain Native Replication(Directory/Mtree/Collection)和Managed File Replication同样生效。
          6)Throttle是针对DataDomain设备的物理网络接口生效,如果复制使用的网络接口为虚拟网络接口(virtual network interface),那么Throttle应相应调低(比如复制只允许使用200Mbps带宽,而复制端口为4个物理网络接口聚合的LACP虚拟网络接口veth0,那么Throttle应该设置为50Mbps,而不是200Mbps)。

 

 

 

     13. 最佳实践
          1)备份到DataDomain和DataDomain之间的复制最好使用不同的网络接口。
          2)针对Directory和Mtree复制,将数据分散到尽量多的复制对进行复制,以提高效率。
          3)在网络带宽小于6Mbps时,可以启用Replication Low-Bandwidth-Optimization以减小网络数据量,改动将在下一次文件系统清洁完成后生效,但改动后的第一次文件系统清洁的周期将大幅度增加,比如几小时增加到十几小时。

 

 

 

     14. 复制类型和结构图例
1.jpg


2.jpg

 

3.jpg

 

4.jpg

5.jpg

 

 

Sam Li

DataDomain技术支持工程

Data Protection and Availability Solution

EMC客户服务

          VSSNetWorker备份中至关重要,对于Windows的文件系统备份,ExchangeSharepoint,SQL,Hyper-V等数据库备份都起到决定性的作用。可以说,VSS不正常,NetWorker就会处于无法备份几乎所有Windows相关数据的情况。

 

 

          那么VSS究竟是什么神秘的元素呢?它又是如何和NetWorker一起互动的呢?要理解这些,应该先来看看VSS的概念和组成。 VSSVolume Shadow Copy Service的缩写。这个服务是用来提供操作系统备份结构的重要服务,同时也是创建快照的服务。简单的说它由下面四大部分组成:

    • VSSservice         --Windows的服务之一,确保各个部件之间可以正常的通讯和工作
    • VSS requestor    ---申请系统创建快照。这个一般是由备份软件担当角色,比如我们的NetWorker就是扮演这个角色
    • VSS writer          ---用来确保我们有完整连续的数据可以备份
    • VSS provider      ---创建并且管理快照的组件

 

 

          这四个组件在备份的时候相互影响,相互通讯,通过协同合作,最终完成备份。那么他们之间的沟通和工作流程又是如何的呢?下面的图解比较详细地描述了VSS各个组件之间的关系:

1.png

   

 

          下面这个图则描述了NetWorker发生备份时,创建快照的过程:

 

2.png

      

          NetWorker根据备份的配置情况发起备份,同时对于需要处理的客户端申请快照。然后后续的工作就完全取决于客户端的VSS的各个组件的工作情况。也就是说这个过程就完全不再和备份软件相关。很多客户会说,我们的备份一直报错,而且错误都是由你们NetWorker报出来的,怎么会跟NetWorker软件没有关系呢?看到这个完整的快照之后您就会明白,NetWorker只是扮演了快照的角色中请求快照的角色。具体的实现和完成都不由NetWorker决定。具体的问题可能需要协同系统管理员,备份管理员以及微软来协同检查,发现问题所在。

 

          具体针对VSS的详细介绍,建议感兴趣的读者可以到微软的相关论坛阅读,里面还提供了针对VSS问题的一些解决建议和解决方案,对于我们备份管理员很有指导作用。

 

 

 

 

 

Mandy Xu

NetWorker技术支持工程

Data Protection and Availability Solution

EMC客户服务

Filter Blog

By date:
By tag: