CLARiiON & VNX: 如何避免iSCSI网络拥塞

CLARiiON & VNX: 如何避免iSCSI网络拥塞

 

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese

介绍

 

     避免网络拥塞是实现一个性能稳定的iSCSI LAN的主要考虑点。在配置网络时,考虑网络延迟以及可能发生的端口超载(oversubscription也是非常重要的。网络拥塞通常是因为错误的或不恰当的网络设定/配置所造成的,比如在千兆网络上使用老旧的CAT5线缆;存储I/O路径上的交换机切片数据帧(fragmenting frame)


更多信息

 

     网络资源竞争、低效路由、配置错误的LANVLAN都会严重影响iSCSI性能。定期监控并总结承载iSCSI流量的网络以确保你的以太网始终保持高性能


     一般来说,最简单的网络拓扑提供最佳的性能,在保证主机和存储系统之间存在物理分隔的冗余连接的同时,也要尽可能减少线缆的长度和数量。


     避免路由iSCSI流量,因为这会增加延迟理想情况下,主机和iSCSI前端端口应该在同一个子网,那就不需要为iSCSI端口配置网关。如果它们不在同一个子网,用户应该定义静态路由


     延迟对iSCSI存储系统性能有很大的影响。随着主机到存储系统的距离增加,200公里(125英里)会增加1毫秒的延迟,这个延迟对于支持顺序I/OWAN来讲会有比较突出的影响。


     例如,一个40MB/s,单流(single stream64KB的工作量在一个200公里距离的链路上平均将只有25MB/s的吞吐量。EMC建议在此类长距离链路上,针对顺序I/O工作量可以增加流(stream)的数量来维持一个最高的带宽。


     平衡带宽的iSCSI配置:一般来说,仅为每一个主机NIC配置两个存储端口(每个控制器各一个)即可。一个存储端口配置为活动(active),另一个则处于就位状态(standby),这就避免了过载(oversubscribing)主机NICHBA的问题


     Jumbo Frames使用Jumbo Frames能够为某些类型的I/O在某些链路距离下将iSCSI网络的带宽增加50%。只要网络支持,我们推荐使用Jumbo Frame来增加带宽。相比正常的数据帧,Jumbo Frame能够承载更多的iSCSI命令以及更大的iSCSI payload,从而不需要切片或者仅会有很少的切片发生,取决于payload size。标准以太网帧大小是1500字节,Jumbo Frame允许配置9000字节。


     VNX系列的iSCSI端口支持MTU size1500 ~ 9000,参考support.emc.com/kb/40084


     端到端的Jumbo Frame支持:如果使用Jumbo Frame,主机、存储、以及端到端路径上的所有交换机和路由器都必须支持,且能够处理和被配置为使用Jumbo Frame。例如,如果主机和存储系统的iSCSI端口可以处理4,470字节的帧,但中间一个交换机只能处理4,000字节,那么主机和存储的端口必须被配置为4,000字节。注意,File DataMover有着与VNX前端端口不同的Jumbo Frame MTU,应该使用较大的DataMover帧设置。


     PAUSEPAUSE帧是一种流控功能,允许主机临时停止所有来自存储系统的流量。应该有意识的在主机NICHBA、交换机上启用PAUSE帧来控制传输速率。VNX-Block iSCSI端口的流控设置为了”auto”,从而让阵列依照交换机端口的流控。流控并没有一个唯一的、正确的配置,这完全依赖于网络流量、速度、网络拓扑和其它因素。在有些情况下禁用流控会有帮助,而然在另外一些情况下则应该使用流控。建议通过监控和抓包的方式来测试启用和禁用网络流控后的情况,逐渐调整到一个适合自己网络的设置。


     TCP Delayed ACK:在MS WindowsLinuxESX主机上(也包括其它一些操作系统),TCP Delayed ACK会延迟应答一个主机的数据包,这个延迟通常在100ms ~ 500ms之间,大部分OS TCP stack的实现都是200ms。存储应用程序可能在TCP Delayed Ack延迟期间发生超时。而且,在已经拥塞的网络上,超过200ms才收到Ack也是很常见的。在这200ms期间,主机和存储之间没有任何TCP通信,主机会发起Inquiry命令给存储系统来获取所有的LUN信息。在拥塞和恢复丢包期间,delay-Ack会极大的减慢TCP恢复过程,导致进一步的性能下降。因此,在iSCSI网络上应该禁用TCP Delayed ACK


参考

 

  • CLARiiON and VNX: How to avoid iSCSI network congestion. [000017289]
  • Recommended TCP/IP settings for Microsoft iSCSI configurations to fix slow performance [000039980]
  • Why is ESX performance slow when using iSCSI? [000050016]
  • 作者技术博客


应用于

 

VNX        CLARiiON             iSCSI