取消
搜索历史
热搜词
原创
活动
创新2.0
I T
产业
当前位置:首页 >互联网•IT > 存储 > 存储系统 > 正文
Hedvig的统一SERVER SAN比Ceph好在哪里?让EMC倍感压力?
来源:高端存储知识  :西瓜哥 2016-05-25 09:26:51
西瓜哥第一次关注Hedvig的时候,是去年学习Docker的时候(参见Docker都不懂,搞啥子存储嘛?)。不过,那个时候,SERVER SAN产品见多了,也没...

西瓜哥第一次关注Hedvig的时候,是去年学习Docker的时候(参见Docker都不懂,搞啥子存储嘛?)。不过,那个时候,SERVER SAN产品见多了,也没有觉得Hedvig怎么样。

\

但今年Gartner把Hedvig评为存储的Cool Vendor,让我有点意外,但还是没有太在意这个厂商。

\

SERVER SAN里面,我关注比较多的还是VMWware VSAN和EMC ScaleIO。关于这两个产品,我也写过很多学习心得,就不再一一列举。但是,就在去年,Hedvig把EMC SacleIO EMEA(欧洲、中东和非洲)的头Bam挖了过去。

\

还有EMC ScaleIO的一个样板点大客户Van Dijk Education也变节了,把EMC的ScaleIO替换为Hedvig。

\

这两件事情,让我突然对Hedvig产生了浓厚的兴趣。为什么这个初创公司这么厉害,其产品到底有什么特点,让EMC ScaleIO怎么难受?

从IT Central Station社区看到,由于Hedvig是统一的SERVER SAN资源池,同时支持块、文件和对象,因此大部分用户首先把它和Red Hat Ceph做比较,其次才是Nutanix,ScaleIO等。

\

大家知道,Hedvig是闭源的,而Ceph是开源的。除了开源和闭源,它们还有什么不同吗?

\

从Hedvig自己的比较看,虽然Hedvig和Ceph从大的功能上非常相似,都是统一的资源池,但内部架构大大不同,最重要的不同是Ceph的本质是一个对象存储,其块和文件服务都是基于对象提供的,因此性能上不如Hedvig。Hedvig宣传其块性能要比Ceph高7-8倍。不过,这不是也打击了VMware的vSAN吗?因为其官方宣传其底层也是对象存储(参见完了,VMware VSAN要做成通用存储了,你让EMC ScaleIO情何以堪?)。Hedvig还列举了除了性能外其他很多的优势,具体大家看下图对比吧。

\

看样子,好像Hedvig真是不错,特别是企业特性非常丰富的,比一般的SERVER SAN特性多多了。看来是时候了解一下Hedvig的技术特点了。

初创公司的技术背景很重要。我们了解到,Hedvig在2012年创立,其CEO Avinash Lakshman(看名字应该是印度人,存储软件Startup现在都被印度人占领了,而存储硬件Startup则是以色列人的长项,如Moshe Yanai的Infinidat)在技术圈大名鼎鼎,是Amazon Dynamo的联合发明人,Apache Cassandra的发明人。和Nutanix一样,这是一个具有互联网基因的公司(据说Nutanix就是基于大量修改Cassandra而来的)。

\

但Nutanix虽然以SDS为核心,但定位是一个HCI厂商,而Hedvig却定位是一个纯粹的SDS厂商。Hedvig只销售软件,用户购买商用服务器组成一个分布式的统一存储平台,支持超融合部署和两层部署(计算和存储分离)。

\

Hedvig认为自己和市场上的SDS和超融合产品都不同,除了具备Virtual SANs部署灵活特点外,还具有高端存储的企业存储特性。也就是我具有你们所有的优点,这个怎么可能啊?

\

Hedvig在设计的时候,定了7个设计原则。除了具有几乎EMC ScaleIO的优势外,Hedvig还支持ARM服务器,支持文件(NFS,马上支持SMB)和对象(Swift和S3),支持容器(Docker),支持在线重删压缩(ScaleIO有路标支持压缩)、自动分层,支持混合云部署和DR。

\

Hedvig最核心的就是其专利的分布系统引擎(Hedvig Storage Service),它提供数据管理服务和数据保持服务。

\

除了Hedvig Storage Service(类似ScaleIO的SDS),Hedvig还有一个访问层Hedvig Storage Proxy(类似ScaleIO的SDC),如果是VM环境,Storage Proxy部署成VM,如果是物理机器,则Storage Proxy部署为Docker容器形态,提供block,file和object访问支持。为了可靠,Storage Proxy具有HA功能,防止单点故障。这个HA功能也可以利用VM的HA功能实现。

\

还有一个存储的资源抽象叫Hedvig Virtual Disk。这是一个抽象的单位,所有的企业特性都是基于这个粒度来实现,可以理解为主机看到的卷。从配置界面我们可以看到,可以选择这个Virtual Disk的类型(iSCSI或者NFS),可以针对这个Virtual Disk选择是否启动重删和压缩,可以选择是否是全闪存和混合介质(支持自动分层),可以选择块大小(缺省是4K),可以选择复制的策略(是机架冗余还是数据中心冗余),还有复制的因子(原来是2-6,现在改为1-6了,截图是旧的),也就是数据可以保存1份到6份。大家知道,ScaleIO只支持2副本。Hedvig为什么考虑支持1副本形态呢?这不是没有任何冗余吗?其实这里主要针对支持Hadoop的HDFS文件系统场景,虽然Hedvig并没有提供HDFS接口,但Hadoop集群可以利用Hedvig作为存储来建立HDFS,而HDFS本身就是三副本的保护方式,如果Hedvig再做数据复制就太浪费了。Hedvig最多支持6副本的方式,这样可以支持4个活动的数据中心,可以跨全球部署,甚至部署到公有云上去。

\

从下图我们可以看到,主机如果采用对象接口,可以不安装Storage Proxy组件的,直接通过AWS命令行或者OpenStack GUI可以调用相应的接口。

\

目前Hedvig和Cisco合作,我们从其参考架构的文档来看看Hedvig的一些细节部署。Hedvig的存储节点是基于CentOS的,一般要求配置2块系统盘保存Linux系统(镜像),配置2块SSD保存元数据和作为读写Cache,然后就是多块的HDD数据盘。Hedvig把每三块数据盘组成一个存储池,然后把池切成16GB的粒度,Hedvig把它叫Container或者Chunk(为了不和Docker那个容器封装搞混,我后面就用Chunk来代表)。这个Chunk颗粒比较大,16GB,相比ScaleIO的1MB要大多了。复制的单位就是Chunk。一般来说,Chunk太大,对小文件的处理性能就比较差,但估计Hedvig有别的机制来解决这个问题。Chunk可以被多个Virtual Disk共享,而Virtual Disk还切为更小的数据块,因此Chunk大一些估计问题也不大。关于硬盘的重构速度,Hedvig宣传4TB的硬盘重构只需要20分钟,已经是非常快的了。

\

还有,我们看到第三台服务器没有安装Proxy VM,但也可以通过iSCSI和NFS通过第二台服务器的Proxy VM访问存储,这种部署方式就更加灵活了。

不管怎么说,采用副本的方式,存储的空间还是太浪费了。现在VMware VSAN支持RAID,而Nutanix开始支持纠删码。但副本的性能肯定是最好的,而且只有副本才能支持跨数据中心的DR部署。因此,Hedvig没有计划支持纠删码,只是建议针对性能要求不高的场景,如对象存储,开启在线压缩和重删,而且无需采用全闪存,这样可以弥补副本造成的空间浪费。

\

虽然Hedvig不需要全闪存,但没有闪存是万万不行的。Hedvig在存储节点利用SSD保持元数据和写优化,可以把随机小I/O变为顺序大I/O,还可以作为自动分层的性能层保存热点数据。客户端的闪存也可以作为读Cache进行加速。大家可以看到,一般的SERVER SAN都不用服务器的DRAM做写cache,因为无法实现掉电保护,如果采用NV-DIMM成本又太高,因此,基本都是采用SSD作为写缓存。因此,SSD基本都是必配的,否则系统性能会非常差。

\

由于Hedvig的元数据和其他数据采用一样,每个存储节点都有,因此是否可以理解为全对称的SERVER SAN?

\

这些元数据可以实现快速而丰富的数据服务,如做快照和克隆的时候,其实只是进行元数据的操作,而元数据全部都在SSD里,因此速度还是非常快的,几乎是实时的。

\

我思故我在

1、Hedvig从特性来说,几乎是EMC ScaleIO的超集。可以这么理解,Hedvig=EMC ScaleIO(block)+Isilon(file)+ECS(object),以一敌三。据说Hedvig的价格也很便宜,因此EMC头疼是正常的。现在很多用户,还是特别喜欢统一的存储资源池这个概念的。但Hedvig毕竟是一个新公司,目前案例还不多,性能到底如何,也没有第三方的测试报告。EMC采用这种best of breed产品策略,暂时还是没有什么问题,特别是ScaleIO,可以打击Hedvig的不成熟和性能(就说统一存储的块性能肯定不让专门做块存储的),让客户不敢把关键业务迁到Hedvig上去。而Isilon采用纠删码,可以在存储空间利用率上打击Hedvig的副本方式。但从趋势来看,统一的存储资源池应该是方向,就像在中端存储领域,EMC Unity最终也融合了。Server SAN领域,未来也一样。

2、华为其实也存在和EMC一样的问题,块资源池主推FusionStorage,而文件资源池主推OceanStor 9000,对象资源池原来主推OceanStor UDS,现在用OceanStor 9000提供对象接口支持。不过,从华为公布的路标来看,未来FusionStorage会同时提供三种服务,实现融合的存储资源池,类似目前Hedvig的形态。在FusionStorage暂时做不到融合之前,现在可以采用OceanStor DJ(提供服务编排)+FusionStorage(block池)+OceanStor 9000(file+objiect池)来构建融合的资源池方案,满足客户的需求。

编辑:Xanthe
关键字:     存储 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。