从NAS存储到SAN存储,从统一存储到对象存储。存储的演变随着数据的变化而变化。随着非结构化数据的增长、数据价值的认知以及基于云的应用层出不穷,企业级对象存储因为可扩展、经济性、快速适配现代化应用程序以及丰富的API等特点,越来越受到企业的关注。
近日,戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶和戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁分享了目前的数据挑战以及对象存储的价值,并具体阐述了戴尔科技在对象存储技术方面的积累和优势。
数据存储面临的主要挑战
今天数据的挑战有几个方面:一方面是数据构成越来越多的是非结构化数据,全世界80%的数据是非结构化的数据,包括文件、图片、影像、视频,包括社交媒体上,还有IoT等等产生的数据,这些数据跟结构化数据不一样,它比较难以放到数据库里面去进行检索,进行使用。它比较复杂,对它进行分析和挖掘、洞察比较困难。
第二,数据增长快,截至2023年,文件和对象数据容量增长3倍;另外一个部分是行业应用的数据,每个行业都有自己的行业应用,比如媒体里面有4K编辑、播出系统和媒资系统,生命科学有基因测序分析、石油能源、气象、地震的高性能计算,EDA、ADAS(汽车自动驾驶辅助系统),金融业影像等。
第三,应用的革新, 2022年,90%的新企业应用将是云原生的。互联网和移动互联网出现以后,最新出现的很多新的技术,如ABC(AI,Big Data和Cloud),IoT、虚拟现实,区块链等等。云原生变成主流,今后还会有更多的新兴技术不断出现,他们会产出大量的非结构化数据。
对象存储是破局之道
面对海量非结构化数据,面向数据的高速增长,面对云原生应用,传统的存储解决方案和数据库无法提供这些新的应用架构所需的简易性和灵活性。企业需要采用新的应用架构、微服务、容器等技术的同时,存储技术架构也随之改变。对象存储出现了,因为其可扩展性、简单性、更灵活的数据标签、更丰富的API成为企业的新选择。
戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶
“对象存储正在快速地成为面向云原生应用的事实上的存储标准。” 胡渊汶谈到。对象存储之所以能够帮助我们解决这些问题,主要有四点。
一是所有的对象存储都有很好的扩展性,基本都会产生横向的扩展架构,加节点,在系统不停机的情况下,把系统扩到很大规模,有效地应对数据增长。
二是简单性,使用也简便,管理也简便,一个存储管理员可以管PB级数据,简易性是传统存储达不到的。
三是元数据,用户可以利用元数据定义业务标签,比如在人工智能机器学习上的元数据特性可以帮助定义特定数据集。
最后是API, S3协议已经是对象存储的事实标准,整个基于S3的生态也在蓬勃发展,大多数现代化应用和云原生应用都是能够兼容S3 API。
传承了20年对象存储的戴尔易安信ECS
对象存储出现是在2000年左右,面对当时SAN和NAS的技术比较完备,但是成本高,扩展性不强等特点,市场急需能够支持超大容量,安全性要求高,价格便宜但是对性能要求不高的存储系统。
来自戴尔科技集团的企业级对象存储平台ECS,算下来也有20年的技术演进,ECS的前身就是在2000年EMC公司收购了当时一家对象存储的初创公司Filepool,之后EMC在2001推出内容可寻址存储器(CAS) CENTERA,到2009 ATMOS再到2014年ECS,逐步发展到现在实现了 Rest API (S3, Atmos, Swift) 、 CAS 存取、原生文件存取 (NFS/Hadoop)、多协议数据存取以及超大规模经济性等内容。
到今天,ECS已经可以支持传统工作负载和下一代工作负载。它提供卓越的扩展性、性能、弹性和经济效益来满足现代化企业的需求。企业可以通过ECS可以构建一个经济高效的对象存储私有云平台。
“这个产品最大的特点第一就是规模经济性,扩展能力非常强,但是保持很低的价格,也有很多的报告,ECS其实在总体拥有成本上面,会比公有云要便宜很多。第二,它是快速的S3,云原生使用的是S3协议,我们有慢速的存储也有高速的存储,特别是我们推出了高性能全闪存S3存储,对于云原生性能要求特别高的工作流,我们也是能够很好地支持。”
胡渊汶用通俗易懂的语言分享了戴尔易安信ECS的主要特点。
同时ECS具备的扩展能力能够实现全球部署和全球可访问,基于相互之间进行复制,能够做到跨地理的全球共享。它还是一个次级存储,适合于把一级存储里冷却的数据放在ECS上面,降低整体的拥有成本。
对象存储最重要的满足了企业的不同场景需求
云原生应用、分析、IoT, AI, 机器学习、数据货币化、备份、CloudPools & CloudTier、法规遵从、同步 & 共享、归档 / 代替磁带、开发 / 测试、容器、安全 & 保密等等现代化的应用场景都可以利用到对象存储。
戴尔分享了云原生应用的大型案例,是国内的一个大型商业银行。
利用对象存储服务手机银行,手机银行新应用需要大量频繁迭代。传统的应用开发部署做法是不能满足的要求,该银行逐步把手机的业务转到云原生业务,采用一个大平台,并为应用灵活地分配资源。取得了相当的成功。“他们现在在ECS上面已经部署了200多个应用,其中有一个季度他们上线了50个应用,这在以前是不可想象的,目前他们的对象数量已经超过100亿。每天请求量是2亿左右,这是比较大的云原生应用的成功案例。” 胡渊汶分享到。
而海通证券利用ECS对象存储的扩展性建立新的存储资源池,降低了初期成本投入和TCO ,并且解决了传统磁带库性能低下、可靠性不足等问题,为数据全生命周期管理、人工智能等技术在后续业务发展中的实际应用打下了良好的基础。另基于ECS对象存储提供的REST的接口,大大提高了图片、视频等非结构化数据的检索与访问性能,使得业务办理效率进一步提升,为信息技术对业务的赋能开创了新的天地。
戴尔科技集团大中华区非结构化数据存储事业部资深系统工程师白光茁
只有贴近应用场景才能发挥对象存储的价值,白光茁谈到对象存储的理解,比如对象存储架构,和整体性价比,能够适用于备份和归档这个场景。但是并不是和备份一体机形成竞争的关系,而是利用对象存储更开放的接口让用户在业务场景下真正让数据利用起来。 “我们核心实际上还是看场景,找合适的方案去推荐。即便产品某些功能看起来是有些重叠,但实际上每个产品核心场景还是比较能区分开的。” 白光茁最后分享到。