智能、融合、高效——从“新基建”看数据存储发展

【环球网智能综合报道】历史上铁路、公路、电力、水利、电信等均在不同阶段轮番支撑着全球经济发展、人类社会进步,可称之为传统基础设施。与传统基础设施不同,“新基建”指向万物互联的智能世界。作为物理世界的数字孪生,在智能世界里,数据成为新的生产资料,如何通过智能存储让数据发挥更高效能,成了“新基建”的题中之义。

数据存储为智能世界提供坚实基础

在整个人类社会快速迈进智能世界的过程中,数据量将迎来爆炸式增长——以视频应用为例,从2K分辨率向4K、8K过渡,数据将增长40倍,从4K转向4K/VR还会有6倍数据增长;而未来L4级自动驾驶汽车每天将产生64TB数据量。根据华为《全球产业展望GIV2025》预测,全球数据量将从2018年的33ZB快速增长到2025年的180ZB。

海量数据的产生,将对数据存储与管理提出巨大挑战。

智能时代,数据面向的三个主要场景是:数据价值密度最高的生产交易场景、数据海量分析的数据湖场景和面向近数据生成物理位置的边缘类场景。华为在2019年联合信通院发布了《数据基础设施白皮书 2019》,其中重点强调了从数据全生命周期管理的视角来构建企业的新型基础设施,被称为数据基础设施。

作为智能世界基石的“新基建”,有必要从数据存储的角度,提前做好规划,努力提高效率并降低成本。

在华为主办的“智能数据基础设施‘学数派’”线上活动中,华为智能数据与存储领域副总裁张福鹏提出:智能时代的存储应该具有智能、融合、高效的特征,对数据的采、存、算、管、用进行端到端整合优化,让数据在全生命周期内更好地发挥作用,让数据每比特价值最大、成本最优。

在智能世界,如果没有数据,则巧妇难为无米之炊,无法完成智能化或智能化沦为空壳;而如果没有对数据的有效管理,则如牛嚼牡丹,势必造成浪费,无法发挥数据应有作用。智能存储作为数据管理的底座,将对数据有效运转提供坚实基础。

面向智能世界打造智能、融合、高效的存储

为应对智能世界对存储提出的挑战,华为存储分别对智能、融合、高效(性能、可靠性、容量)三个方面做了大量的优化。

智能体现在数据全生命周期的智能管理,可以称之为Storage for AI和AI in Storage。前者意为存储要满足AI训练和推理的需求,而后者则表明存储本身也要应用AI技术,将AI融入存储全生命周期管理,让存储管理、性能、效率、稳定性更加出色,同时让用户使用存储更加轻松简便。华为采用端云协同AI芯片加速的Self-Driving存储,基于AI芯片、存储设备和华为云三体架构,云上训练、云下推理的方式,达到越用越快,越用越省的效果。

融合主要指多协议、多服务的融合。实现存储智能分级管理、数据免搬迁,以及对数据处理和分析的有效协同,采用专有硬件实现极简协议栈、让数据库与存储高效融合,对海量大数据分析进行计算与存储协同,按需扩容。具体如实现了对NVME SSD、QLC SSD、HDD和蓝光/金纳米等异构介质的支持的异构融合;实现块、对象、文件、HDFS四种服务共集群互通的多服务融合;支持分布式热温数据分级的分级归档融合;高密快照和相似重删,并支撑二级存储,保证备份数据立即可用的生产分析融合;实现了数据分级上云和备份上云的端-云融合。这些融合将让存储融入具体业务,数据处理成本更低,效率更高。

为了让数据存储更加高效,华为存储分别从性能、可靠性、容量上做了诸多创新。面向具体业务,基于硬件+算法+架构,突破冯·诺依曼架构的瓶颈,利用最新的技术实现数据存储的极致可靠、极致性能以及极致的容量,满足智能时代全新业务的数据存储新需求。

性能上,在硬件上以华为五大自研芯片为基础,实现端到端加速,全面提升数据存储性能;软件上以FLASHLINK智能算法进一步提高速度和稳定性;并以NVMe协议、DTOE智能网卡、NOF+无损以太网络构筑最优质的数据传输高速公路,在保证成本优势前提下,显著降低时延。面向核心生产交易场景,目前华为存储已经能够提供2000万IOPS,0.1毫秒的性能指标。

可靠性上,华为分别从部件、系统、架构、解决方案等层面做出了大量的创新,MTBF达到300万小时的全局盘片保护、容忍3盘同时失效的RAID-TP、业务达到秒级切换主机“0”感知的SmartMatrix分布式全互联架构、免网关双活等技术方案,实现了99.99999%的高可用,足以应对最苛刻的企业可靠性需求。

在容量上,华为采用弹性EC+动态重删压缩技术,大幅提升磁盘利用率,让存储系统拥有更好的可得存储容量;采用计算存储分离方式,实现按需独立扩展容量,很好地管理了容量,避免资源浪费。以及针对归档、备份的蓝光、金纳米玻璃等存储介质的采用,大大扩展了存储容量可用性。

存储释放动能,助力构建智能世界

随着智能时代的到来,数据成为重要的生产要素。人工智能、云计算、物联网、大数据等新技术推动包括工业、农业、服务业等许多行业、产业进行大规模的数字化变革,逐渐形成以数据+智能为中心的新型业务,推动服务化延伸、网络化协同、智能化生产和个性化定制等新的变化。除了头部的OTT、金融、电信等行业之外,全社会都在致力于生产要素数字化、生产过程数字化以及产品的数字化。

企业数据应用的核心是存储和分析,过去烟囱式IT系统带来两个问题——不同场景下产生多个副本,数据不能流动,成本高;分析时导致大量数据迁移,出现分析效率问题。华为通过将存储业务融合进具体业务,打破存储内部的系统墙、数据库与存储的链路墙、大数据与存储之间的配置墙、数据库和大数据协同墙,实现数据每比特价值最大,成本最优。

过去整个网络数据的运营靠人工配置,靠个人经验和能力决定效率高低,华为存储依托内置AI能力,结合华为云大规模运营经验,可提前14天预测故障硬盘、提前60天预测性能瓶颈、提前365天预测容量不足。并且这当中30%的故障可以不用人工干预“自愈”。越来越智慧的存储,为客户带来极致体验。

华为自2002年进入存储领域,经过18年的技术积累,如今已进入快速增长期。截止到2019年Q4,连续四季度持续保持30%左右的高速增长。华为在中国市场已经连续5年保持了第一的市场份额,并在2019年第四季度全球销售收入排名升至第三。

华为存储的优秀市场表现,归功于长期不断地在基础硬件、算法、系统以及架构上的科研开发。未来,华为公司会持续投入技术研究,并在产业组织、专利和研发多方面深耕,在智能时代存储产业向下扎到根,保障长期提供最先进、最好的产品解决方案。同时,华为将携手合作伙伴,打造智能、融合、高效的存储产品和方案满足客户创新数字化和云化转型需求。

在国家加大“新基建”投资力度的背景下,华为数据存储市场将进一步发挥动能,助力企业数字化转型,进而推动万物互联的智能世界快速到来。

相关新闻

    推荐阅读