取消
搜索历史
热搜词
原创
活动
创新2.0
I T
产业
当前位置:首页 >互联网•IT > 存储 > 存储系统 > 正文
冷存储正在“热”起来
来源:中国信息产业网  :佚名 2015-07-02 13:21:11
地球上每分每秒都在产生新的数据。预测显示,到2018年,整个世界的数据总量将会达到44ZB(1ZB=10亿TB)。伴随着数据量的剧增,数据的存储和访问策略也开始分化。业界根据数据的访问频度将数据分为热数据、温数据和冷数据。Facebook对图片数据访问分析显示,82%的访问都集中在近三个月内产生的8%的新数据上,绝大部分数据在迅速变“冷”。面对冷数据量不断增多的趋势,冷数据的存储成为存储领域的一个重要细分市场。不久前,数据中心联盟发布《冷存储定制化服务器白皮书》,指出了冷存储服务器发展的四大趋势。

四大发展趋势不容忽视

地球上每分每秒都在产生新的数据。预测显示,到2018年,整个世界的数据总量将会达到44ZB(1ZB=10亿TB)。伴随着数据量的剧增,数据的存储和访问策略也开始分化。业界根据数据的访问频度将数据分为热数据、温数据和冷数据。Facebook对图片数据访问分析显示,82%的访问都集中在近三个月内产生的8%的新数据上,绝大部分数据在迅速变“冷”。面对冷数据量不断增多的趋势,冷数据的存储成为存储领域的一个重要细分市场。不久前,数据中心联盟发布《冷存储定制化服务器白皮书》,指出了冷存储服务器发展的四大趋势。

白皮书认为,冷存储是指存储冷数据的容量大、性能要求不高、成本低廉的永久在线的存储介质。当前,冷数据存储已经成为存储领域的重要细分市场,并且呈现出四大发展趋势。

第一,数据体量增速继续加快。过去几年,视频、社交等数据发生了爆炸式增长,可以预计,未来这样的增长还将继续。

第二,冷存储将分化出更精细的门类以及更个性化的成本和Qos控制。目前,市场对冷存储的分类比较粗放,然而视频、图片、文档、邮件、监控、日志、社交、网盘等不同数据的读写、访问及保留要求都有所区别,因此可对系统设计的性能和成本进行进一步的优化。

第三,对冷数据进行分析和挖掘的需求不断增长。目前,冷数据和大数据是两个概念,承载的服务器硬件也完全不同。然而,随着冷数据价值不断得到认可,对其进行离线检索和挖掘的需求也会产生,这就需要新的硬件和软件构架去解决这些问题。

第四,软件定义存储,方便对冷数据进行复制、迁移和扩容。随着存储硬件成本不断降低,把数据从低密度高功耗的旧服务器中迁移出来成为降低运营成本的有效途径。同时,随着冷数据种类的不断细分,某些重要的冷数据也可能需要在多数据中心进行灾备。此外,企业业务的不断变更也可能需要数据在公有云和专有云之间进行迁移。目前的硬件和软件对于这么大规模的迁移还缺乏有效的解决方案,未来需要进一步利用软件定义存储加以解决。

白皮书同时指出,当前,在冷存储系统设计和应用中,存在三大问题:一、处理器/硬盘的比率。给定处理器比率越低则系统成本越低。然而,其副作用是一旦处理器失效,会有更多的数据不可访问。系统设计者需要权衡,并采用软件手段减少处理器失效后的不良后果。二、功耗控制。系统的软硬件节能方案可能会增加硬件成本,并增大数据访问的延迟。系统设计者需要在CAPEX、OPEX和SLA之间进行取舍。三、数据块编码方式。选用适当的纠删码,可以对硬盘数据利用率、数据可用性及数据重构时间等多个目标进行有效的优化。

统计显示,热数据、温数据和冷数据占总数据量的比例约为5%、15%、80%。当前,各类数据的存储和访问策略正在迅速分化,数据分层趋势加剧。一般情况下,热数据被放到内存或者SSD中,而冷数据被放入低转速HDD,甚至硬盘被置于长期下电状态,也有业界厂商考虑将蓝光用于冷数据。

白皮书认为,今天冷数据的应用特征正在越来越清晰。一、数据的访问频率很低,但是用户仍想保留这些数据;二、相应时间要求随着应用需求的减少而逐渐降低;三、单位数据量要求的系统宽带低;四、数据量巨大;五、对于特定的数据需要备份、存档等。

值得一提的是,大数据技术的应用正在推动冷存储的发展。白皮书指出,不同行业应用场景对于冷存储的要求不尽相同。现在企业正逐步加大对大数据的投资,来识别用户和运营趋势,从而获得重要业务洞察能力。随着大数据的快速发展,可以支持公司通过分析来自不同地方的大量信息,获得重要见解。大数据的分析也可以运用到多个冷存储使用情形中,比如:在备份中,如果信息被保存于本地而非场外,典型的备份工具则无法区分这些信息,通过大数据分析可以筛选出大量数据,以确定哪一项目发生了变化,因而需要备份,这有助于节约时间,同时减少处理容量和带宽。

编辑:闫春春
关键字:     数据重构  趋势  冷存储 
活动 直播间  | CIO智行社

分享到微信 ×

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。