1 2 3 上一个 下一个 124 回复 最新回复: Mar 28, 2017 1:01 AM merrist139 分支到新 讨论. RSS

长篇连载:说说EMC解决方案中的那些产品和案例

Fenglin Li

2017年解决方案目录:

 

2017
EMC XtremIO + PowerEdge 32 Gb/S FC性能测试报告
VMAX全闪存部署Splunk性能测试与最佳实践
ECS的NTP无缝归档解决方案
ECS网络部署与最佳实践
基于Dell POWEREDGE服务器的DDVE数据保护解决方案
企业混合云4.0
企业混合云4.0 概念与体系结构指南
企业混合云4.0 基础架构参考体系结构指南


 

2016年全年连载目录:

 

2016
VxRail实现量子飞跃 - VCE超融合系统新产品发布(Simon Zhao)
数据存储管理不求人 Oracle DBA可以很潇洒(Simon Zhao)
中文白皮书篇
(三十二)采用VMware vSphere和EMC XtremIO的Oracle Database虚拟化(中文白皮书)
(三十三)EMC VSPEX 私有云:VMware vSphere 5.5 和 EMC ScaleIO(中文白皮书)
(三十四)基于 EMC XTREMIO 环境的 EMC VSPEX 虚拟化 SQL SERVER(中文白皮书)
(三十五)EMC VSPEX 私有云:Microsoft Hyper-V与EMC ScaleIO(中文白皮书)
(三十六)EMC XtremIO部署MongoDB解决方案(中文白皮书)
(三十七)采用Isilon横向扩展NAS的EMC VSPEX(中文白皮书)
(三十八)EMC VSPEX终端用户计算:采用XtremIO的XenDesktop和Hyper-V(中文白皮书)
(三十九)部署采用BROCADE GEN 5 SAN FABRIC的EMC XTREMIO全闪存存储的最佳做法(中文白皮书)
(四十)Microsoft SQL Server 借助XtremIO实现本机高可用性(中文白皮书)
(四十一)XtremIO 闪存专用数据保护方案XDP(中文白皮书)
(四十二)EMC VSPEX BLUE 配备VMware Horizon View的终端用户计算(中文白皮书)
(四十三)Linux 6.x 上使用 EMC XtremIO 部署Oracle的最佳做法(中文白皮书)
(四十四)EMC ProtectPoint 完整备份解决方案(中文白皮书)
(四十五)EMC ScaleIO融合存储为SAP HANA配置定制数据中心(TDI)解决方案(中文白皮书)
(四十六)面向Oracle数据库的EMC XtremIO优化闪存存储(中文白皮书)
(四十七)针对大型机环境的 EMC VMAX 概述(中文白皮书)
(四十八)适用于 VNX2 的 VDM METROSYNC(中文白皮书)
(四十九)EMC VNX 上的虚拟 Data Mover(中文白皮书)
(五十)适用于Oracle的EMC XtremIO高性能整合解决方案(中文白皮书)
全闪存阵列篇
(五十一)EMC XtremIO部署企业级PostgreSQL解决方案
(五十二)VMAX全闪存SQL Server部署解决方案
(五十三)EMC XtremIO部署Citrix XenServer 6.5的优势
(五十四)VMAX全闪存部署业务关键性Oracle数据库
(五十五)VMAX全闪存以及VMAX3部署VMware Virtual Volumes
(五十六)白皮书:集成EMC XtremIO到ViPR Controller
(五十七)集成与保护运行于EMC XtremIO之上的虚拟化企业级应用
(五十八)EMC XtremIO部署服务器虚拟化解决方案
(五十九)AppSync集成RecoverPoint与XtremIO快照复制解决方案
(六十)EMC RecoverPoint实现XtremIO上的Oracle远程复制
联盟企业混合云 3.5
联盟企业混合云 3.5:概念与体系结构指南
联盟企业混合云 3.5:基础架构参考体系结构指南
联盟企业混合云 3.5:管理指南
联盟企业混合云 3.5:基础架构和操作管理指南
联盟企业混合云 3.5:安全管理指南


2015年全年连载文章目录

 

2015
(一)EMC解决方案是什么?
(二)不1ms不是好AFA,全闪存阵列XtremIO优化Oracle数据库性能
(三)想多快就能多快,VMAX3性能服务级别(SLO)加速Oracle数据库
(四)双剑合璧,EMC VNX + XtemCahce加速Oracle数据库
(五) 小身材大用途,VNXe部署千人Exchange企业邮箱
(六)私有云案例, VSPEX部署5600个VMware虚拟机
(七)一站式多协议平台,软件定义存储ViPR部署按需共享文件系统案列
(八)存储上的大数据,Isilon大数据基础架构
(九)大数据保护,EMC企业级数据湖数据保护解决方案
(十)云端集成,VMAX3+Azure异地容灾解决方案
云计算篇
(十一)私有云案例,ECS + CTERA管理企业分支机构文件存储解决方案
(十二)云上云下,VMAX FAST.X集成EMC CloudArray解决方案
(十三)EMC Hybrid Cloud, 混合云部署SAP解决方案
(十四)PaaS落地,VBLOCK部署Cloud Foundry平台即服务解决方案
(十五)云端数据迁移与保护,ECS+DataTrust解决方案
(十六)选择性备份到云,EMC CloudBoost备份解决方案(中英文白皮书)
(十七) 数据复制即服务,EMC Data Domain安全多租户提供云计算数据保护解决方案
(十八)开源平台支持,VNX OpenStack Juno Cinder驱动最佳实践
(十九)EMC私有云部署参考架构,微软应用解决方案
(二十)EMC混合云3.1系列,白皮书15篇下载列表
大数据篇
(二十一) 大数据即服务,ECS的Hadoop企业级支持
(二十二)医疗行业大数据案例,在数据湖中预测未来
(二十三)Hadoop虚拟化,大规模部署案例
(二十四)Hadoop as Service,HaaS混合云部署解决方案
(二十五)Hadoop多租户部署,Isilon Access Zone功能与案例
(二十六) Hadoop数据存储,Isilon配置Hadoop最佳实践
(二十七)Hadoop数据安全,数据湖安全解决方案
中文白皮书篇
(二十八)EMC VNX 存储系统上结合 SAP HANA 定制数据中心集成(中文白皮书)
(二十九)使用EMC XtremIO 重新定义SAP基础架构(中文白皮书)
(三十)整合EMC XtremIO全闪存阵列上的SQL SERVER OLTP 工作负载(中文白皮书)
(三十一)EMC VSPEX 终端用户计算采用XtremIO 的Citrix和VMware(中文白皮书)


白皮书原文都在每篇文章的附件里可以下载!

  • 1. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    引言

     

    开篇之前,先说说作者的背景。楼主是一名EMC员工,工作中大部分时间和内容都和这个ECN平台有关,基本上每天混迹于EMC中文支持论坛。作为一个工作多年,依然对技术还保有一定热情的IT从业人员,平时喜欢了解一些自己公司最新发布或者现有热销产品的技术特点和应用场景。

    Avator.png

    照片是论坛Profile截的,照片已经是几年前的,这几年沧桑不少。

     

         看了许多技术资料后,发现EMC解决方案部门发布的白皮书是了解产品应用和技术知识的一个很不错的载体。所以近两年来,除了自己会阅读解决方案白皮书,以及利用实验坏境做一些实际操作之外,每周我还都会在EMC中文支持论坛的解决方案子版块中共享一些白皮书,加上一些内容摘要,让论坛的网友们下载。两年来,发布的白皮书总量已经有两百多篇,阅读量已经超过了10万,白皮书下载量也达到了1万次。效果自己觉得还是挺不错的。下图列出其中的三分之一

     

    Threads.png

     

         开这个帖子,目的是为了尝试另一种方式,能够继续更好地分享EMC产品解决方案相关的内容,不同于先前一篇一篇技术白皮书的形式,这个帖子中的内容会把个人对解决方案中的一些特点总结归纳起来,帮助论坛中的网友们找到自己想找到的内容。

     

        本贴会尽量以通过定期更新回复的方式添加内容,时间上每周有2-3篇的帖子更新,一个月在10篇左右内容尽量大而全,当然方便搜索的索引也是必须的。(二楼是索引) 同时,楼主非常愿意帮助跟帖的网友解答各种问题,问题的种类可以也不限于下面几种:

     

    • 对EMC的XX产品比较有兴趣,想了解是否有实际的实施案例和特点描述?
    • 我们公司已经部署了EMC的XX产品,并结合了XX应用投入生产,请问是不是有相应的最佳实践?
    • 我看到一篇XX白皮书中提到了个XX内容,不是太理解其中的具体细节,能不能有人帮忙解释一下?

     

         但是由于个人水平有限,EMC的产品和解决方案也过于繁多,肯定会出现帮不了忙的情况。那么我会试着厚着脸皮,尽量联系一下公司里其他的技术达人们,看看能不能帮您找到答案。

     

         如果你想持续关注这个帖子,可以点击页面右侧的FollowBookmark按钮 ---> ,或者直接回复留名,系统会自动添加新的回复到你的ECN Inbox。页面右侧找下面两个按钮,点一下就可以(需要先登入)

     

    Follow.pngBookmark.png

  • 2. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    (一)EMC解决方案是什么?

     

         也许有很多人和我一样,看到这篇文章的时候,带着这样一个疑问:EMC的解决方案到底有些什么东西?

     

         大概五年前,和一个曾经在同家公司工作的一个同事聊天,这位同事先于楼主加入了EMC,在EMC的解决方案部门工作。有次我们聊起了他在EMC的工作内容,他说他的工作是做EMC解决方案。其实刚听到这个词的时候,楼主有点迷茫,因为楼主原先所在的软件公司,把一个软件产品本身就称作xx解决方案。

     

         “解决方案是什么?就是具体产品的实施吗?” 我问他。

         “EMC解决方案就是EMC的产品结合前端应用的实际用例”,“这些前端应用包括Oracle、Microsoft、SAP、VMware等等”,“后端使用到EMC的存储,备份软硬件” 他回答道。

     

         这个答案在当时,五年前的2010年,也许的确是反应了EMC解决方案的实际状况。不过,在那个时候,整个业界,云计算、大数据的概念也刚刚提出。主流的企业应用还停留在第二平台,那个时候EMC业务重点大头还是存储,备份,信息安全。VMware虚拟化、私有云、混合云和EMC的产品集成也没有像现在那么紧密。

         现在看来,当时的那个回答已经不能很好的概括当下EMC解决方案的全部内容了。通过几年的发展,EMC已经从一家数据存储公司,逐渐转型为云计算、大数据公司。现在,楼主个人对EMC解决方案的理解可以概括为:“为满足客户实际需求的特定EMC软硬件产品组合”。这个概括有点抽象,展开来说可以分为两个部分,客户实际需求和EMC软硬件产品组合

     

    1. 所谓的客户实际需求可以是特定行业的,例如:通讯,能源,医疗,公共服务等等。

    Solution-1-1.png

     

    2. 客户实际需求也可以是针对特定主流的企业应用,例如Microsoft、Oracle、SAP等等。

    Solution-1-2.png

    3. 特定的EMC产品组合可以是针对不同实现,例如大数据,云计算,存储,数据保护,安全,内容管理,融合基础架构等等。

    Solution-1-3.png

    4. EMC的产品组合也可以通过不同的平台来实现,混合云、超融合基础架构、虚拟化等等。

    Solution-1-4.png

     

        综合来说,现在EMC提供的解决方案是一个多维度,从上至下的,从软件到硬件,从私有云、公有云到混合云的一个综合体。EMC先于客户把这些组合的可能性呈现了出来,EMC全球解决方案部门的同事们把这些在客户环境中实施过的、或者在实验环境中通过测试已经验证的解决方案、或者是某个产品的最佳实践整理成文发布,也就是本贴中所要慢慢发布的EMC解决方案白皮书。

  • 3. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Jeffey

    好帖,期待持续更新!

  • 4. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Yanhong Huang

    开篇让大家有了很高的期待,哈哈

  • 6. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Alan_Chen

    前排插队,LZ韩国帅哥feel

  • 7. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    谢谢关注,第一篇《EMC解决方案是什么?》已更新!

  • 8. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    希望写出来的东西大家可以喜欢

  • 9. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    不客气,谢谢捧场!

  • 10. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    这照片我记得背景还是八达岭长城,零下的时候,和现在大热天的不太搭调,能认得出来就可以了

  • 11. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    (二)不1ms不是好AFA,全闪存阵列XtremIO优化Oracle数据库性能


         想了几天,第一篇解决方案的帖子到底写什么?混合云,超融合,大数据都是时下热点。不过想来想去,EMC毕竟从存储发家的,所以,本篇解决方案连载我想也从存储开始。

         总的来说,从存储实施的角度,绝大多数应用场景,或者说是用户考虑自身存储解决方案的时候,主要考虑的无非是以下个大类:

    • 性能:重中之中,快!要快!还是要快!重要的事情说三遍。硬件更替在解决应用程序速度上可谓简单粗暴。
    • 容量和成本:这两个可以是分开的指标,但是这里把它们放在一起,单位容量的成本是衡量一个存储阵列重要指标。
    • 高可用:一年到头来总在线时间,可以用N个9来衡量。异地容灾,数据恢复,本地、远程复制等等都是高可用性的衡量指标。

         而这几大类中人们最关心的还是 性能!计算机的发展就是伴随的计算速度的提升,CPU和网络在过去十五年的前十年内发展迅速,而存储限于硬盘的机械构造一直有着拖后腿的味道,但是近几年来随着闪存技术的蓬勃发展,存储的速度看似慢慢追了上来了。

     

         所以,连载的第一篇解决方案,我们就来看一下EMC的全闪存存储阵列XtremIO在Oracle事务数据库上的表现和特点

         白皮书在帖子的附件里面已经呈上,这篇白皮书的主要内容是帮助DBA们理解Oracle数据库的性能瓶颈,以及XtremIO全闪存阵列是如何帮助他们解决这些性能问题的。其实就是,EMC XtremIO可以让DBA不用手工再去调整各种索引,查询算法,就能把数据库性能提高几个数量级!够简单粗暴吧!

         具体看一下,首先,从Oracle的I/O特点来说,了解数据库CPU的Waite Time分布是判断是否要在存储端优化性能的标尺,有一类Oracle数据库性能分布如下:

    Solution-2-0.png

         可以看到,需要优化存储的性能指标是这样的,总CPU等待时间才17%(利用率低),剩下有42%的时间花在等待数据文件中的User I/O 。反过来,如果数据库慢,DB时间大部分花在CPU处理上,那么这个数据库的优化应该在服务器,而不是存储。好了,下面的实际案例来了:

     

    案例一:压力测试

     

         测试配置我这里就不提了,图中也有,关键两点:

    • 这是一个单节点的XtremIO,
    • 这个测试中的数据I/O都是1 milliseconds 级内完成的。(这个不得不提一下,以前阅读的数据库技术资料中,提到如果IO在5ms以内,就是很好的性能了,现在世界发展实在太快。)

         第一个测试结果是这样的,两张图:

    Solution-2-1.png

    Solution-2-2.png

         一个小时的压力测试下来,XtremIO每秒钟 7kTPS,2.9w SQL Query,16w Logical I/O,实际到XtremIO的物理I/O写近10万每秒(读8w3,写1w5),每秒处理了21MB的Redo Log。综合下来90%的IO在2ms内完成,80%在1ms内完成。

     

    案例二,同样的测试扩展到两个XtremIO节点

     

    这个案例中,工程师证明了XtremIO从单节点扩展到两个节点后,性能按照线性增长,基本上处理能都翻倍,看下图:

     

    Solution-2-3.png

     

    案例三:选另一个竞争对手的全闪存阵列进行比较

     

         测试方法是8小时和2天的压力测试,当然结果很明显,XtremIO对于长时间的处理完胜,这里也不贴图了,感兴趣的直接下载下来看吧。

     

         总结一下,以1ms Response Time为单位,现在已经是全闪存阵列(AFA)的黄金标准了,可以说,不能1ms就不是好AFA。楼主这里想再补充的是,1ms虽然是标准,但是在衡量一个好的AFA的时候,除了IOPS和Response Time需要重点关注之外,阵列在长时间运行下的表现也很重要,就像这篇解决方案中所看到的,XtremIO和某竞争对手的阵列相比,在长时间的运行压力下,还能保证高比例的小于1ms级的IO处理能力,以及能够线性的不影响总体性能的情况下进行横向扩展也是关键。

     

    下一篇我们来看看VMAX3在处理Oracle数据库上的表现吧。

  • 12. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Fenglin Li

    (三)想多快就能多快,VMAX3性能服务级别(SLO)加速Oracle数据库

     

         VMAX3,前生分别是EMC Symmetrix、DMX、VMAX、VMAX2,作为一直以来EMC的旗舰存储阵列,这款高端存储从诞生开始,已经发展了近三十年。整个业界的装机量保守估计也几十万台,它活跃在基本上所有行业的关键应用上,金融,政府,保险,互联网等等。在现今信息化时代,可以说每个人的日常生活背后,都有EMC VMAX3和其“兄长们”们提供的数据服务。

     

         关于VMAX3的架构和功能介绍,这里就不展开说了。有关VMAX3的内容可以参考论坛里的其他帖子,很多:VMAX3文档

     

         这篇解决方案白皮书的主要内容在VMAX3上部署Oracle数据库的性能的最佳实践。Best Practice这东西楼主个人很喜欢,有了这个东西,作为系统的使用者,只需要按照文档中的提示,按部就班操作,就可以优化我的设备,而且这些结果都是官方验证过的,用得放心,用得安心。

         整篇来看,最佳实践是针对VMAX3中新推出的叫做服务级别对象(SLO)的一个性能特性展开的,书中的第一部分有相关的具体介绍,这个功能最早的雏形是VMAX Cloud Edition中就提出的,后来因为实施效果不错,也被加入到了VMAX3中。SLO的主要作用就是预定义性能配置,数据库管理员可以通过它更简单地针对数据库服务和存储性能要求,以租户为单位,调整VMAX3提供给特定数据库的性能水平,简化原有过多的数据库端的手动调整,只需要一个点击即可完成性能优化。

         然后,VMAX3内部池化存储结构会根据用户选择的服务级别动态调整性能,满足不同的性能需求。就好比VMAX3就是一个瞬间就能生产出汽车的工厂,根据用户对汽车的需求提供不同的车辆。家用型就给你经济型轿车(Bronze),家庭人口多给你辆MPV(Silver),商务人士给你辆高级轿车(Gold),赛车手给你辆高性能跑车(Platinum),甚至还能造出F1(Diamond),而且想换就换,随时随地。

     

         下表是每种SLO的参考性能指标:

     

    Solution-3-1.png

     

         书中的第二部分描述了部署SLO的一些存储设计准则,以及如何调配存储的步骤。楼主非常推荐下载后留档,如果将来有机会使用到VMAX3部署Oracle SLO会很有帮助。

     

         第三部分是Oracle在VMAX3上的实际测试案例,测试环境如下:

    Solution-3-2.png

    • 双引擎VMAX 400K,Enginuity 5977.496,64个EFD、246个10K转Disk,102个7k转Disk
    • Oracle 12,Linux,思科C240 96GB服务器
    • 数据库放在4个1TB thin LUN,REDO Log放在4个100GB thin LUN。

     

    性能测试案例一:

     

         测试方法是从Bronze级别开始,运行OLTP workload,然后逐步提升SLO级别。测试结果的平均TPM,Oracle AWR平均响应时间,以及前端响应时间如下表所示:

    Solution-3-3.png

     

    性能测试案例二:

      

         升级到全闪存的Diamond级别,结果如下:

    Solution-3-4.png

     

         综合两个测试案例来看,从最低的Bronze到最高的Diamond,TPM处理速度提升了6x,响应时间提升了9x。Diamond的1ms响应时间的级别也达到了AFA的黄金标准。如果用户的数据库并不需要最高速的性能要求,VMAX3也可以动态地将SLO向下调整,满足不同数据库的性能需求。VMAX3对于Oracle数据库性能上的表现可以说是收放自如。作为高端存储,楼主个人认为,抛开其他高可用性,数据复制,异地容灾等功能不说,就性能来看,VMAX3完全可以叫板所有的AFA。同时,他还能通过SLO的方法,以租户为单位,按需供给存储计算资源。只要一台大而全的VMAX3平台,就能满足企业,从前端百万用户的销售系统,到后端内部使用的ERP,在到数据仓库分析平台以及内部管理的各种应用平台的需求,而且,对于一些峰时负载,还能动态调整SLO级别,实现以服务为导向的动态IT管理。而且只要鼠标一点,就能自动完成这些操作,高端就是那么任性!

     

    下一篇我们看一下EMC VNX在Oracle的性能表现上能不能和VMAX3和XtremIO一样快?

  • 13. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    lei liu

    哇,这样的文章太好了。

     

    关于XtremIO偶有一个疑问,XtremIO和PCIe闪存卡是啥关系?难道说XtremIO比PCIe闪存卡要好么?

  • 14. Re: 长篇连载:说说EMC解决方案中的那些产品和案例
    Jeffey

    XtremIO和PCIe闪存卡是二种产品,针对不同的用户群体。XtremIO是闪存存储阵列,PCIe闪存卡是直接插在服务器上,增加主机预读取数据的容量。提供二篇文章供你参考:

     

1 2 3 上一个 下一个