1 2 上一个 下一个 21 回复 最新回复: Mar 12, 2017 8:36 PM Roger W. RSS

【专家问答】Isilon 工作引擎(Job Engine)大讲堂

Jason周

好消息,新一期的“专家问答”活动已经开启啦!


坐镇专家们均为多年从事Isilon技术问题解决的高级技术工程师们,将全面和大家一起讨论和分享关于Isilon工作引擎(Job Engine)的话题。不论您有任何关于此题目相关问题,或是想更多的了解其方方面面,请抓住这个与专家直接对话的机会,以回帖的方式来参与在线提问吧。

 

以往所有已完成的“专家问答”活动可参考这个汇总贴

 

本期讨论主题:Isilon 工作引擎(Job Engine)大讲堂

本期持续时间:2017年2月27日–3月10日,为期两周。

 

我们邀请到的专家有:


Denny_Wu.jpg

 


Denny Wu 吴怿嘉

 

2014年3月加入EMC Isilon全球技术支持团队。负责isilon相关的故障定位处理,对OneFS文件系统,NFS文件共享协议以及相关的软硬件问题有丰富的技术支持经验。

 


Nicole_Zhou.jpg

 


Nicole Zhou  周晓芬

 

EMC技术支持工程师,从事远程技术支持工作3年多,目前就职于EMC全球技术中心,主要负责isilon系列产品的售后技术支持工作,对isilon相关网络、NFS(Network File System)和OneFS 文件系统的配置和排错有丰富的技术支持经验。


和专家交流,与同行畅谈。欢迎大家以回帖的方式就本次主题相关问题,来积极提问和踊跃发表自己的意见。期待您的参与!


  • 1. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    Jason周

    本贴暂时锁定,将于2月27日(周一)活动开启日解锁,届时欢迎大家积极提问和分享!

  • 2. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    Jason周

    本期专家问答活动正式开启,欢迎大家积极参与提问和分享~

  • 3. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    cong.chen

    请问老师,在现场更换bootdrive时。需要shutdown所更换bootdirve的节点。请问在shutdown之前,现场工程师如何判定该节点的ipclient会飘走?从而不会影响到连接到该节点的业务访问。有没有什么可以share的,谢谢!

  • 4. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    Leo Li

    微信用户“杨苏华”提问:

     

    专家能介绍一下,isilon节点之间访问转发和onefs底层文件系统机制吗? 谢谢

  • 5. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    Roger W.

    想问下两位专家,工作引擎(Job Engine) 主要是做什么用的?

     

    谢谢!

  • 6. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    dennyw

    Chen Cong您好,

    有关节点ip的转移要结合该集群的网络池的具体配置来看。

    首先在isilon上查看目前配置的网络池(network pool)信息,然后检查ip分配方式是否为动态(dynamic)。比如:

    # isi networks list pools

    Subnet          Pool            SmartConnect Zone                      Ranges Alloc

    --------------- --------------- ---------------------- ---------------------- -------

    subnet1         pool0                                  10.111.191.3-10.111... Static

    subnet1         test                                   10.111.191.20-10.11... Dynamic

     

    最后一列的Alloc即是该网络池的ip分配方式。

    如果该节点的网络端口属于动态分配的网络池成员,那在节点关机之后这个IP会被重新分配到同一网络池中工作正常的端口上。

  • 7. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    dennyw

    Roger您好,

    Isilon OneFS属于分布式文件系统架构,其特点是能够尽可能利用每个节点的运算力来并行处理以提高业务处理的效率。比如说当一块硬盘损坏,集群中的节点会协同工作来重建校验块,从而恢复数据的保护级别。而这一类需要整个集群配合的工作,需要一个分布式的作业计划/执行框架来实现。在OneFS中,我们称之为Job Engine。

    常见的作业有:

    FlexProtect, 在系统中有设备故障时重建数据。

    AutoBalance, 平衡节点之间存储空间的用量。

    SnapshotDelete, 删除系统中过期的快照以释放空间。

    FSAnalyze, 定期生成文件系统报告。 客户可以通过InsightIQ来查看。

     

    更多信息可以参考官方白皮书:

    https://support.emc.com/docu51125_White-Paper:-Isilon-OneFS-Job-Engine.pdf?language=en_US

  • 8. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    Roger W.

    非常感谢~

  • 9. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    nicole.zhou

    杨先生,您好:

     

    您的这个问题涉及到很多isilon内部核心组件,其中机制相当复杂,这边只能做一下简单介绍:

    关于访问转发的问题:

     

    一般一个访问请求(假设是读请求)发送到和这个客户端相连的节点,那么这个节点会根据请求的文件逻辑inode号找到它真实的数据存放的地方,然后通过背端的IB网络使用RPC的调用向相关节点请求数据,相关节点再将存在自己身上的数据返回给客户端连接的节点,由该节点将各个条带化的数据组合成完整的数据并返回给客户端。

     

    关于OneFS文件系统机制的问题:

     

    OneFS支持从N+1到8x的保护级别。

    OneFS每个block是8K,每个条带是由16个8K的block组成的。

    小于或等于128K的数据会按照保护级别将相应份数的副本存放于不同的节点或相同节点不同的磁盘上。如果是大于128K的数据会先将其按128K一个条带单元分成多个数据条带单元,然后根据保护级别计算出校验条带单元,然后将所有条带单元存放置相应的磁盘上。一组条带中数据条带单元最多为16个,校验条带单元最多为4个。

    现在支持的OneFS文件系统(7.1及以后)引入了磁盘池(disk pool)和节点池(node pool)的概念,同一个节点池中的节点的每6块同一类型的盘分成一个磁盘池,比如节点1-3的磁盘bay1-6为一个磁盘池,1-3的磁盘bay7-12为一个磁盘池。

    保护级别应用于每个磁盘池上,也就是说假设节点池(由节点1-3bay1-12组成)的保护级别是+1,那么节点1-3的磁盘bay1-6的保护级别是+1,bay7-12也是+1,磁盘bay1-6的损坏不影响磁盘bay7-12。换句话说+1的保护级别可以容忍节点1-3磁盘bay1-6和磁盘7-12各坏一快盘。磁盘池之间互不影响。

     

    Name                      Id  Type Prot Flags    Members              VHS   HDD Used / Size       SSD Used / Size      

    ------------------------------------------------------------------------------------------------------------------------

    x200_12tb_24gb            9   G    +2d: SDH----- 8,10                 2       60T /   72T (83%  )     0 /     0 (n/a  )

                                       1n                                                                                  

    x200_12tb_24gb:10         10  D    +2d: S------- 1-7:bay7-12          -       30T /   36T (83%  )     0 /     0 (n/a  ) <---磁盘池                                  1n                                                                                  

    x200_12tb_24gb:8          8   D    +2d: S------- 1-7:bay1-6           -       30T /   36T (84%  )     0 /     0 (n/a  ) <---磁盘池

                                       1n                                                                                  

     

    ------------------------------------------------------------------------------------------------------------------------

    Unprovisioned drives: none

    Type: D = Disk pool, G = Group, P = Policy, T = Tier, E = Empty Group or Tier

    Flags: S = System, H = VHS Hide Spare, D = VHS Deny Writes,

           T = Spillover Target, M = Manual Group, E = Evacuate Pool,

           I = Force 8k inodes, G = Gna Disabled

     

     

     

     

     

    文件系统更多内容可以参考以下两个文档:

    https://support.emc.com/docu44126_White_Paper:_EMC_Isilon_OneFS:_A_Technical_Overview.pdf?language=en_US

    https://support.emc.com/docu42429_White_Paper:_High_Availability_and_Data_Protection_with_EMC_isilon_Scale-Out_NAS.pdf?language=en_US

  • 10. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    cong.chen

    感谢老师百忙之中回答我的问题,根据您给的示例,test pool中的IP是浮动的,您说:如果该节点的网络端口属于动态分配的网络池成员 。请问此句话中的该节点的网络端口这个怎么判断?如何能查到该节点的IP,可能问的问题比较low,谢谢~~

  • 11. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    dennyw

    Chen Cong您好,

    运行以下命令,找到你要查看的pool的配置。

    # isi networks list pools -v

    ...

    subnet1:test

              In Subnet: subnet1

             Allocation: Dynamic

                 Ranges: 1

                         10.111.191.20-10.111.191.21

        Pool Membership: 1

                         1:ext-1 (up)

       Aggregation Mode: Link Aggregation Control Protocol (LACP)

            Access Zone: System (1)

           SmartConnect:

                         Suspended Nodes  : None

                         Auto Unsuspend ... 0

                         Zone             : N/A

                         Time to Live     : 0

                         Service Subnet   : N/A

                         Connection Policy: Round Robin

                         Failover Policy  : Round Robin

                         Rebalance Policy : Automatic Failback

     

    其中有一项是Pool Membership,包含了所有属于该网络池的端口名。例子中1:ext-1代表了节点1的外部1G网口,我们可以通过查阅此列表来判断。

    查询ip可以通过以下命令:

    # isi networks list ifaces -w

    Interface       Status      Membership                Addresses

    --------------- ----------- ------------------------- ------------------------------

    1:ext-1 up subnet1:pool0,subnet1:test 10.111.191.3,10.111.191.20,10.111.191.21

     

    输出中包含了网络端口的名字,状态,所属的网络池信息,以及所对应的ip地址。


  • 12. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    cong.chen

    谢谢老师!!!感谢!

  • 13. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    Steve

    Hi there,

     

    1. Any documents & best practices regarding optimize SMB performance over 10GbE network that can be shared? The client is running macOS Sierra 10.12.3. We are looking for tunable smb / tcp kernel state and the recommended value.

     

    Here is one back to 2014 and the information is limited. Any additional recommends?

    https://www.emc.com/collateral/TechnicalDocument/docu51273.pdf

     

    2. Do you have any sample data like how many MB/s throughput (Read and Write, not simultaneous) can be achieved under an end-to-end 10GbE network, assuming the storage layout (Isilon) is not the performance limit and the client is allowed enough smb credits / tcp window to fill the pipe. Possible the solution-based white paper may have the data, but I haven't had a chance to check out. We are seeing 560MB/s read and 460MB/s writes and are looking for a potential improvements. Jumbo frame is not allowed.

     

    Thanks a lot!

  • 14. Re: 【专家问答】Isilon 工作引擎(Job Engine)大讲堂
    nicole.zhou

    Hi Steve,

     

    As Denny and I are not SMB expert, I discussed your questions with my colleagues familiar with SMB.

     

    So for question 1, unfortunately, the latest documentation we have is what you find.

     

    For question 2, we only have some perf referrence for single thread read or write, ideally it can reach 280MB/s - 300MB/s, And  if the multi-channel is applied to the SMB clients,  probably could reach over 300MB/s for a single thread read/write , but it still depends on the network bandwidth.

     

    Thanks.

1 2 上一个 下一个