今天西瓜哥看到Demartek最近更新的存储网络接口比较的资料，想起高端存储我经常和大家介绍FC/SAS，IB/PCIe等等网络技术的时候，有些朋友还是有点迷糊，因此今天借这个机会总结一下主流的高端存储厂商(指西瓜哥定义的狭义的高端存储，包括IBM DS8870/XIV G3，EMC VMAX3，HDS VSP G1000、HP 3PAR 20000，富士通DX8000 S3，华为OceanStor 18000V3)目前使用的一些存储网络技术。

现在主流的高端存储的网络一般分四个部分：

1、主机接口网络。这个基本每个高端存储都差不多，FC接口是必须要支持的，大部分还支持FCoE，iSCSI一般都支持，Infiniband(IB)有少部分厂商宣传支持。FICON是大机接口，我们这里暂不讨论。

2、节点互连技术。这个在最新一代高端存储里面只有两个流派，PCIe和Infiniband。EMC VMAX3，IBM XIV，Infinidat Infinibox采用IB，而其他厂商都采用PCIe。

3、后端磁盘框连接技术。除了IBM DS8700目前还是采用FC-AL技术外，其他产品后端都是SAS了。

4、磁盘接口技术。目前高端存储的磁盘基本都是SAS接口，因为FC磁盘已经停产了，基本看不到了。SATA接口磁盘有些厂商还支持，但基本都切换为NL-SAS，其实也是SAS接口了。SSD一般都是SAS接口，目前高端存储还没有看到NVMe的SSD。

以上4个部分，其实1、2、4部分高端存储和其他存储一样，区别不大。高端存储最大的特点是第3部分，即节点的互连技术。因为高端存储一般是多节点架构，需要非常低时延的高速网络互连成为一个整体，因此选择了IB或者PCIe。而中端存储的集群架构，大部分采用万兆互连，少部分采用FC互连。

下面我们来看一下各种存储网络接口技术的一些规格，这样大家有一个概念。

以上表格我们看到SAS有passive和active的区别，active线缆是需要加电的，这样可以传输得更远。SATA为什么慢慢退出高端市场，除了速率慢外，主要还是可靠性也不如SAS，因为是单端口的，只能有一个连接。

还有，我们还需要注意接口的物理速度和实际的传输速度的关系。因为为了可靠传输，都是需要编码的，不同的编码的开销是不同的。低速的接口一般采用8b/10b的编码方式，这种编码的开销是20%。现在的高速接口基本都采用64b/66b甚至更高的128b/130b的编码方式，开销一般都少于3%。

这个就是FC各种速率的编码和速率的一些关系。高端存储目前最高支持16G FC。至于Infiniband，目前高端存储最高支持56G的速率。但超算系统里面，据说已经有4个系统采用了100G的速率。

下面我们再来回顾一下各种存储网络技术的历史。

FC技术从97年开始是1G速率，到现在已经16G，号称第五代FC。FC做主机接口估计会在数据中心长期占据主导地位，但作为后端的磁盘框连接技术和磁盘接口，已经基本消失了。西瓜哥预计IBM下一代DS8000后端也会放弃FC技术而切换为SAS技术的。从高端存储的发展历史来看，IBM的高端存储总是在网络技术方面反应最慢的。

FCoE从10年出现，目前还是10Gbps。FCoE曾经很热，但现在热情慢慢退去，高端存储虽然很多产品都支持FCoE，但销量都很少。FCoE未来的走势不明，西瓜哥预测会缓慢上升，但要取代FC，目前在存储侧没有看到这个动力。Infiniband从92年以来发展很快，主流的领域还是在超算。据说全球TOP100的超级计算机，有一半以上采用IB技术。现在的主流速率是56Gbps，EMC VMAX3是高端采用IB互连的代表。iSCSI接口，从03年到现在已经十多年了，目前主流速率还是10Gbps。高端存储好像除了HDS VSP不支持，其他厂商都有这个iSCSI接口，一般远程复制采用iSCSI接口比较多，而且很多还支持1Gbps速率，毕竟长途带宽很贵。至于SAS接口，05年到现在刚好10年光阴，现在到了SAS 3.0的时代。高端存储2015年发布的新型号基本都是SAS 3.0后端了。EMC VMAX3和HDS VSP G1000是2014年发布的，还是采用SAS 2.0。

至于SATA接口，03年出现，现在是6Gbps。从高端存储角度看，SATA接口缺乏发展下去的动力，会慢慢淡出高端的市场，被SAS取代。至于未来各种接口如何发展，基本都是速率不断翻番，也就是速率越来越高。

以太网的速度很快奔400G而去，并且出现另外一个分支，即25G以太网(单通道)。25G以太网目前业界比较看好，其成本的下降潜力要大于单通道10G以太网。比如你需要100G的速率，如果采用25G，只需要4个lane，而采用10G，需要10个lane。以太网的速率发展，会影响到高端存储的FCoE和iSCSI接口未来的发展，因为这两个接口都是基于以太网的。

而后端硬盘的接口，随着SSD的大量使用，NVMe将成为一个方向。西瓜哥比较看好SFF-8639接口，其兼容SAS和SATA，支持最新的NVMe。还有线缆，目前高速接口基本都采用光纤。数据中心布线一般需要考虑20年以上的寿命，如果用多模光纤，最低标准要OM3，建议用OM4。

因为现在主流已经是16G FC了，只有OM3才支持100m的连接距离。

而光收发器(连接器)，目前采用的都是SFP+或者QSFP+了。QSFP+支持4个lane。

除了光缆外，部分网络接口还采用铜缆连接，成本更低。特别是高端存储后端的SAS接口，所有的厂商都支持铜缆连接。

但现在SAS也支持光缆连接了，这个标准就是Mini-SAS HD。采用光缆连接磁盘框的好处就是可以进行跨机柜的连接(因为距离更远)，磁盘柜的布局更加灵活。目前高端存储里面，HP 3PAR 20000和华为OceanStor 18000V3可以选择Mini-SAS HD光缆，据说HDS VSP G1000也在做，因为其计划支持磁盘柜分散布局。

至于大部分高端存储采用的节点互连技术PCIe，估计除了DS8870还是PCIe 2.0，其他的高端新品都是PCIe 3.0了。

PCIe现在已经支持光缆连接，但传统的PCIe接口连接器尺寸比较大。现在业界在搞一种新的PCIe接口连接器OCuLINK，尺寸更小，成本更低。估计以后PCIe外部互连会大量采用OCuLINK连接器。

【西瓜哥观点】高端存储的存储网络技术其实和其他存储差不多，关键的区别主要在节点互连部分。总的发展趋势还是更远距离，更高带宽，更优成本。学习高端存储架构，了解一些存储网络技术历史和发展趋势，对加深架构的理解是有益的。