取消
搜索历史
热搜词
原创
活动
创新2.0
I T
产业
当前位置:首页 >互联网•IT > 存储 > 闪存 > 正文
成都中电熊猫仇善海:大数据应用场景 ——良率分析和故障预判
来源:IT168信息化频道  :阿明 2015-04-24 16:59:53
闪存存储的性能与传统磁盘的差异,是众所周知的事情。但是,闪存颗粒在物理层面可靠性和稳定性的问题往往被有意或无意地忽视。那么,针对闪存存储的性能优势和持久性劣势应该采取什么样的解决机制?当前文件系统设计与闪存存储结合存在哪些问题?同时闪存存储在不同的文件系统中具备哪些应用模式和特点 ?这些问题一直困扰着关注闪存与文件系统应用的朋友。

尔提出NVMe标准,可以缩短闪存设备的访问路径,提升访问堆栈性能,更能发挥闪存高IO性能和低延时优势。

\

而对于高并发的应用而言,基于PCIe的NVMe协议更有明显优势。对于采用AHCI协议的设备来说,每个PCIe卡的ssd访问都需要通过Core 0来管理,Core0成为该设备的控制核,这样的控制机制就会降低性能和访问的可靠性,但NVMe协议支持每个CPUCore采用独立的链路,可以提高并发性能。

Linux文件系统是基于日志的文件系统,利用闪存提高Linux的文件系统性能可以采用以下几种方式:1. 将Journal日志放置到闪存上,2. 对数据安全不要求的情况下可以禁用Journal,3.由于闪存不存在磁盘存储的巡道和IO合并的需要,也可以禁用系统针对磁盘优化的merge/rotational等参数提高性能,4. Linux最新的Btrfs文件系统基于闪存特性做了访问优化,也可以考虑采用Btrfs文件系统。

ZFS文件系统是也是一个非常有特色的文件系统,当前一些商业化存储系统就是基于ZFS文件系统。ZFS文件系统载在设计时就考虑了通过闪存进行性能加速的方法。ZFS使用日志机制,ZFS intent log (ZIL) 处理同步写,ZIL处理同步写越快,系统性能越好。将闪存作为ZFS日志设备,可以大幅提升同步写性能。ZFS的ARC(Adjustable Replacement Cache)读缓存淘汰算法可以优化系统的读性能,而SSD可以作为二级缓存L2ARC设备提供更大的缓存空间,缓存命中是最大限度能提高性能的。但是

当前比较热门的Ceph文件系统,相对于底层的文件系统而言,Ceph文件系统更像是在底层文件系统之上的文件服务,在这里我们就不做过多介绍,但是Ceph文件系统也大量采用闪存进行性能加速。

针对闪存特性和文件系统应用的分析之后,那么当前闪存存在哪些问题呢?

问题之一在于,大多数操作系统和应用的存储设计均是针对磁盘访问特性进行优化的。由于传统磁盘的机械设计,需要通过磁头的旋转进行寻道和数据IO操作,限制了磁盘的性能,因此操作系统和应用的底层算法大部分都是针对如何减少IO操作和寻道时间所设计的。

另外,磁盘存储架构下为了提高IO性能采用了缓存设计,从而又增加了复杂的数据保护的处理机制。

还有就是,应用的并发度也限制了利用了闪存。

当前有些研究机构通过透明地绕过文件系统使用非易失性存储器,在高并发的压力下将闪存设备的性能提升7倍以上。

来自SNIA最新的技术思路, 利用NVMe标准访问协议,针对闪存设备特性来设计存储访问机制。例如利用基于闪存设备的对象存储结构,让应用直接访问底层闪存设备;再有通过闪存优化的文件系统,提供上层的文件访问;对于一些应用提供核心层的闪存优化的块访问机制等等。

另外,出于成本的考虑,有些客户将闪存设备作为磁盘的缓存,通过将SSD作为传统磁盘的读写缓存以加速IO性能,这种使用方式其实会加速设备磨损,因为利用LFU,LRU,MRU等缓存算法,会带来大量的碎片IO操作,造成读也是写的情况,加速了SSD设备的磨损。

李炫辉根据业界趋势包括Greenliant的发展情况,对闪存做了一个很有意思的展望,他指出,未来闪存随着经济性越来越好,可靠性设计的逐步完善,那么面向NVMe闪存设备的访问机制将会成为闪存应用的现实,针对NVMe闪存设备会做成一体化的架构。

编辑:赵明飞
关键字: Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array  Array 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。