Find Communities by: Category | Product

什么是Uncorrectable Error?

 

当阵列在读取某块磁盘时发现某扇区/数据块发生问题(通常是media error即盘片介质原因)导致无法读取时,系统会试图从RAID Group的其它磁盘对应位置上进行数据重建(RAID1、RAID1/0会通过镜像盘读取数据,RAID3/RAID5会利用奇偶校验 )。当尝试重建数据失败的时候,就会发生Uncorrectable Error。

 

如下图,举例为4+1的RAID-5 RG(RaidGroup)。当DATA 5无法读取时,会通过同一个条带上的DATA 6~8和XOR2进行数据重建;如果此时其他数据中DATA 6~8或者校验位XOR2无法读取,就无法通过RAID保护进行数据重建。所以Uncorrectable Error只有在阵列读操作的时候发生,并且会报在同一个RG上的两块磁盘上。

 

Uncorrectable.jpg

 

从以上我们可以了解到,当Uncorrectable Error发生时已经是在条带层面上DL(Data Loss)的状态了。

如果此时主机需要读取该部分数据,就会提示文件损坏或数据不完整无法读取。

 

相关功能:

 

FAST VP

FAST VP即Auto Tiering可能会把坏数据迁移到其它磁盘上扩大受影响的范围,所以当我们遇到Uncorrectable Error的时候都需要把此功能暂时停掉。

 

FAST Cache

FAST Cache缓存中发生Uncorrectable Error时,需要把FAST Cache停用并把所有缓存刷到磁盘上,然后在所有启用过FAST Cache的LUN上执行BV去检查Uncorrectable Error。

 

BV(Background Verify)

BV会尝试去读取和修复数据坏块,BV结束以后会得到一个报表列出所有无法修复/已修复Uncorrectable Error。

注明一点,如果报Uncorrectable Error的同时,还有Cohearency Error的话,绝对不允许执行BV,这样会导致更糟糕的结果。如果发现此类问题,请及时联系技术支持,我会在下一讲介绍Coherency Error。

 

作者简介

Nate Ju

EMC资深技术支持工程师。

精通VNX/MCx架构,熟练问题排查及提供解决方案。

最近碰到有使用了企业级闪盘(SSD)的EMC客户询问SSD的寿命到底如何。他们有些担心,过了3~4年,SSD会因为闪盘单元的写磨损,导致批量的损坏。

vmax_vnx_logo.png

XtremIO_logo.png

大家都有基本的概念,普通PC使用的闪盘,还有U盘,每单元寿命只能承受1000多次的“写”。企业存储里,动则几万到几十万IOPS的,感觉分分秒秒的就能写坏很多闪盘单元,然后SSD用不了几年就要纷纷报销了?

实际情况如何呢?

EMC是最早开始卖带企业级闪盘的公司,从08年开始卖带SSD的存储,到现在已经进入实打实的7年了。实际看损坏率,基本可以很让人放心。

中国的第一个客户从09年开始使用9SSD,到现在为止7年多,只有一块更换,还不是因为介质问题而是其它问题更换的。其它的客户大致统计上看,更换率也低于普通磁盘。

这从原理上怎么解释呢?

EMC刚推出SSD时,官方的描述是这样的,

Characteristics of Enterprise Flash SSDs

  • Higher performance, reliability and cost technology
    • SLC NAND Flash-based persistent storage
  • Dual-ported Fibre Channel drive interface
  • Optimized for maximum lifecycle and random+sequential read/write performance
    • On-board DDR SDRAM cache for read pre-fetch, write buffering, and block mapping
      • Includes internal backup power to for destage to Flash on power failure
    • Multi-channel parallel I/O to NAND Flash components for maximum performance
  • Integral Error Correction Code (ECC) to detect and correct bit errors
  • Transparent wear-leveling to minimize and delay inherent wearing effect of rewriting
  • Reserved NAND flash capacity, used to remap bad blocks as they wear

 

上述英文说明里,关键的有几点,能说明跟寿命有关,

  1. 1. SLC NAND,这是单层单元闪存,寿命本身比消费级产品使用的多层单元闪存寿命要高很多(具体数量级在下面说明);
  2. 2. 为最长寿命优化设计,闪存盘内内置RAM缓存,有内置电源,不仅提速,还可以优化写操作;
  3. 3. 内置纠错,能修正单比特错误;
  4. 4. 保留的容量,能把损坏的单元做重新定位。

那么跟消费级的闪盘比,我们使用的SSD能经过多少次真实的写呢?答案是10万次以上。这是个100倍的关系。

08EMC发布SSD时,就有Q&A里说:we expect the Flash drives to have a much better MTBF than mechanical drives since they have no moving components. Each flash cell is guaranteed to sustain 100,000 write and typically sustains much more before wearing out.

就是说,理论上SSD(英文中的Flash drives)应该有比机械磁盘好得多的寿命。实际上SSD的寿命确实如此。假设一个73GB的闪盘(这是EMC最早推出闪盘的容量),以较高的IO压力,比如100MB/s的吞吐量,50%是写的话,寿命计算可以达到7年。而且这个假设里,容量越大,寿命越长(写密度低了)。

  还有,现在的磁盘柜是cached array,短时间重复写IO还会被“吸收”掉,SSD上长时间平均的写IO一般都是远低于50MB/s的。所以SSD的寿命问题,用户基本可以放心地使用到磁盘柜的一整个生命周期了。企业级磁盘柜,生命周期在10年左右。


EMC现场支持专家 余建云

       Data MoverVNX nas端的一个硬件。它从存储后端读取数据,通过Ultraflex I/O技术给主机端提供数据访问,支持NFS, CIFSpNFS等协议。具有可扩展和冗余功能。

Data Mover故障切换/故障复原:此机制为系统备援能力的一种,当系统中其中一项设备失效而无法运作时,另一项设备即可自动接手原失效系统所执行的工作。

 

1.VNX Data Mover概况

1.png

  • 上图中的X-BladeData Mover
  • 一台VNX最多可以有8Data Mover,每个X-Blade Enclosure里面可以装2Data Mover
  • 可以把Data Mover看做是一个高性能高可用性的服务器
  • 用于连接数据和网络
  • VNX nas端的操作环境里,Failover(故障切换)不会影响使用性能
  • Data Mover支持热插拔操作
  • 支持多协议标签交换操作
  • Control Station(控制台)出现故障,不会影响Data Mover的正常
  • Data Mover内部没有磁盘

2. 如何辨别Data Mover类型

  • nas_server -list这条命令来显示Data Mover基本信息,如下:

    2.png

     其中type 1 代表 首选 Data Movertype 4 代表备用Data Mover

 

  • nas_server –a -i这条命令可以显示Data Mover的具体信息:

        3.png

3. Data Mover故障切换是如何实现的?

          4.PNG.png

  • 当首选Data Mover出现故障时,备用Data Mover会接替首选Data Mover的工作
  • 有些机型的Celerra只配了一个Data Mover,这种情况下,就无法实现故障切换功能了
  • Control Station(控制台)在这个过程中只起到监控作用

4. Data Mover故障切换机制

  当首选Data Mover出现故障无法正常工作时,会出现以下三种情况:

故障切换机制

概况

自动切换

立即启动备用Data Mover,接替首选Data Mover的工作

尝试复原

首先尝试修复首选Data Mover,如果修复失败,再激活备用Data Mover来接替首选Data Mover的工作

手动切换

手动重启来修复首选Data Mover,备用Data Mover维持原状

 

5. Data Mover 故障切换管理

 

server_standby等相关命令来管理Data Mover故障切换至备用Data Mover

下面是如何用命令行来手动切换备用Data Mover到首选Data Mover

5.png

6. RCM Data Mover故障切换/故障复原流程

 

  • Failover故障切换

 

  a.用nas_server –l显示Data Mover基本信息:

       6.png

  b.重启备用Data Mover (server_y代表备用data mover的名字)

       server_cpu server_y -reboot -monitor now

       7.png

c.用下面这条命令来查看备用Data Mover在重启后是否恢复正常,显示contacted说明正常,在显示contacted之前不要做其它操作。
      /nas/sbin/getreason

        8.png

d.切换首选Data Mover和备用Data Mover (server_x代表首选data mover名字)
      server_standby server_x -a mover

        9.png

e.首选Data Mover和备用Data Mover切换后,显示如下:

      nas_server -l

         10.png

 

  • Failback故障恢复 :

 

  a.切换之后,确保两个Data Mover都恢复contacted 状态

        /nas/sbin/getreason

       11.png

  b.故障恢复,将首选Data Mover恢复
       server_standby server_x -r mover

       12.png

  c.切换之后,确保两个Data Mover都恢复contacted 状态

       /nas/sbin/getreason

        13.png

  d.切换后,两个Data Mover恢复了最初的状态

        nas_server -l

         14.png

 

 

EMC 建议每个Data Mover最好配一个备用的Data Mover,那么在首选Data Mover出现问题时,备用Data Mover可以及时顶上去,确保主机端用户使用正常。

因此,备用的Data Mover配置要与首选Data Mover配置一样。



联系方式:

如果有意愿对您的 VNX 阵列进行升级,请随时与RemoteProactive@emc.com 联系预约。

 

如果有任何问题请联系我们:

邮箱:RemoteProactive@emc.com

电话:+1-800-782-4362 x 6305555

网上在线支持: https://support.emc.com  Live chat

 

作者简介:

16.png


陈郑燕(Zoe Chen

亚太地区上海远程变更管理团队(Remote Proactive Team)升级工程师, 负责VNX等相关产品的升级工作。


关于Isilon:

 

IsilonEMC公司提供的用于高容量存储,备份存档非结构型数据的横向扩展存储平台。通过节点的扩展,Isilon可以通过OneFS,向用户提供超过20PB的单文件系统。

每一个节点都有完整的硬件(包括中央处理器,内存,磁盘以及网络设备)当加入当前的阵列后,每一个节点都可以提升当前阵列的容量和性能,用户可以通过不同Node类型的搭配,获得性能与容量的平衡。


下图为不同存储节点类型的性能和容量的区别:

Isilon.png

Isilon主要用于下列应用环境: 生命科学, 保险金融行业,媒体娱乐,医疗行业,石油汽油行业。

 

 

远程变更团队简介:

Isilon远程变更团队主要负责Isilon的预检,时间安排以及升级相关工作。亚太地区上海远程变更团队的工作时间如下:

  1. 预约工程师: 周一至周五  0900 -- 1800
  2. 升级工程师: 周一到周日  0700 -- 1900

当收到用户提交的服务请求后,我们的预约工程师会联系客户协商预检时间,升级目标版本以及预检连接方式(上传日志文件,ESRSWebEx)

升级工程师对指定的阵列进行预检,以确保阵列符合升级的要求

升级工程师给出详细的升级安排计划,预约工程师会根据升级计划联系用户预约升级时间以及相关的细节。

升级流程

  • 升级当天,升级工程师将会通过预约时间半小时左右前进行预检或者发送WebEx链接。
  • 升级工程师会在升级开始之前对指定升级阵列进行升级前的必要健康检查,以排除会干扰升级的因素。
  • 升级时间根据不同的升级类型,以及当前机器的负载,各不相同。
  • 升级完成后,升级工程师会再进行一次健康检查,确保阵列在升级之后能够正常工作。

Isilon OneFS升级主要包括两种方式,滚动升级 和离线升级

滚动升级会比离线升级需要更多的时间。

  • 离线升级过程中,所有的节点会同时重启,所有客户端在重启过程中无法访问阵列,需要客户为升级准备宕机时间。
  • 滚动升级在升级过程中,一次只会重启一个节点,当前升级节点完成重启并加回阵列后,下一个节点才会开始重启。在滚动升级中,阵列中的其他节点对于客户端仍然是可以访问的,但是所有客户端在升级过程中还是会受到一定的影响, 可能出现下列的情况:
  1. 当客户端重新连接到其他在线的节点时,会有一定的延迟。
  2. SMB客户端不能自动重连到其他在线的节点,用户需要重新访问建立连接
  3. 如果你按照动态NFS客户端配置最佳建议,那么在升级过程中,NFS的客户端会自动重新连接到其他在线的节点。 (最佳建议配置具体可以参见https://support.emc.com/kb/90041 )

某些OneFS版本之间并不支持滚动升级,我们的升级工程师在预检的过程中会给出是否支持滚动升级,如有需要,也可以参见相关版本的版本说明来查看支持滚动升级的具体列表。

基于可能对客户端的影响,我们还是建议客户为滚动升级准备相应的维护窗口。


联系方式:

如果有意愿对您的 Isilon 阵列进行升级,请随时与RemoteProactive@emc.com 联系预约。

 

如果有任何问题请联系我们:

邮箱:RemoteProactive@emc.com

电话:+1-800-782-4362 x 6305555

网上在线支持: https://support.emc.com  Live chat

 

作者简介:

qi.jpg

戚惠斌(Mika Qi)

亚太地区上海远程变更管理团队(Remote Proactive Team)升级工程师, 负责Symmetrix,Isilon,XtremIOESRS产品的升级工作。

Filter Blog

By date:
By tag: