Data Domain坚固的架构体系

Data Domain坚固的架构体系

 

转载请在文首保留原文出处:EMC中文支持论坛

介绍

 

本系列文章将会介绍EMC Data Domain 数据坚不可摧架构(Data Invulnerability Architecture)。

更多信息

 

SISL的定义:

 

EMC Data Domain 基于SISL,它的全称是Stream-Informed Segment LayoutSISL),它使得EMC Data Domain实现了内联的数据消重技术,使用fingerprintRAM来定义磁盘上的segment,避免了为了检查磁盘上的segment而出现的繁重的磁盘读操作。

1.为了检查fingerprint处理了98%segment而不要求读磁盘。在数据被写入磁盘之前,98%的重复的segmentRAM中就被标识。

2.使用更新更快的CPURAM来扩充Data Domain系统,随着CPU性能的提升,直接增加新数据处理吞吐率

3.通过减少磁盘访问,减少磁盘损耗。

 

 

基础术语

 

 

1.gif

Segment(图中箭头1):在DD系统里数据被切割成数据段。

Fingerprint(图中箭头2):每个segment都有一个fingerprint IDsegment ID)。

Filter(图中箭头3):对RAM中的fingerprint做判断。假如fingerprint ID是新的,则继续,假如fingerprint ID是重复的,参考,则删除。

Compress(图中箭头4):使用通用压缩技术对新的segment组做压缩。

Write(图中箭头5):把segment(包括fingerprintmetadatalog)写入container,再把container写入磁盘。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的定义:

 

Data Domain操作系统(DD OS)是为数据保护而建的。DIA架构是重要的EMC Data Domain技术,提供安全可靠的存储,它包括4种技术:端到端验证、故障避免和遏制、持续的故障监测和治愈、文件系统恢复。DIA提供数据完整性、可恢复性和磁盘保护,实现数据安全。下面重点介绍下这4种技术。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的端到端验证:

 

 

 

2.gif

端到端验证技术检查所有的文件系统数据和元数据,它的基本流程是:

1.备份软件产生写数据请求;

2.分析数据重复性;

3.保存新的数据segment

4.保存校验和(checksum);

5.在发生备份I/O之后,DD OS验证它可以从磁盘上通过DD文件系统读取这些数据;

6.验证读取到的校验和与备份时写入磁盘的校验和一致。

如果流程中发生错误,DD通过自我治愈和系统警告再次备份。由于存储系统上的任何部分都可能产生错误,端到端验证能容易地确保数据完整性。端到端验证意味着写入后再读取数据,并把它和发送给磁盘的数据作比较,证明数据可通过文件系统和磁盘进行访问。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的故障避免和遏制

 

 

3.gif

Data Domain系统具备一个特制的日志结构的文件系统,它的特质包括:

1.新数据从不覆盖好的数据,DD系统从不把已经备份好的数据至于危险之中。传统的文件系统常常在数据发生变化时覆盖老的数据块,并继续使用老的数据块地址。DD文件系统只把数据写入新的数据块,分离了由于不正常的数据覆盖造成老数据块损坏的可能性。如图所示,data container log从不覆盖或者更新老的数据块。新数据都写入到新的container

2.几乎没有复杂的数据结构。在传统的文件系统中,有许多的数据结构(例如:空闲数据块位图和参考数)支持快速数据块更新。对于备份软件,系统开销主要是新数据的顺序写入。而Data Domain系统比较简单,它只需很少的数据结构,来记录data container log头部的信息。这种设计极大的降低了由于软件问题导致的数据损毁。

3.DD系统包含不挥发的内存(NVRAM),NVRAM的写缓存中存放了所有未保存在磁盘上的数据,可实现安全快速的重启,确保断电过程中没有数据丢失。

 

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的持续的故障监测和治愈:

 

 

 

4.gif

持续的故障监测和治愈提供了一个额外的数据保护级别,它持续地监测故障并恢复,它的基本流程是:

1.DD系统周期性的检查RAID条带和container log的完整性;

2.DD系统使用RAID 6来实现冗余性的故障保护;

3.每次读数据的时候,都会验证数据完整性;

4.任何监测到的错误都会被治愈。

 

 

数据坚不可摧架构(Data Invulnerability Architecture)的文件系统恢复:

 

 

5.gif

文件系统回复特性能够重建丢失的或者损毁的文件系统元数据,它自带文件系统检查工具。通过扫描log和重建元数据和数据来恢复文件系统。在传统的文件系统中是不检查数据一致性的。DD系统在每次备份后都会检查新数据的一致性。既然Data Domain文件系统永远不会覆盖旧的数据,并没有块映射和引用计数重建,它只需验证日志的头部就可以安全地把系统重新联机和恢复关键数据。

参考

 

EMC Data Domain System Administration Guide

应用于

 

EMC Data Domain全系列产品