分布式存储可解决新基建的数据挑战

作者：百度百家 2021-02-19 19:21:47

存储

分布式 简单说，分布式存储就是一种数据存储技术，通过网络使用每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散地存储在网络中的各个角落。

[[382255]]

新基建对数据处理提出了挑战

①海量：海量数据的不断涌现，到2025年全球新创建的数据将达到175ZB。

②多元：数据从单一内部小数据形态向多元动态大数据发展，数据环境多样、复杂，大量文本、图片、视频等非结构化数据被产生和存储。

③实时：金融风险评估、交通自动驾驶、运营商智能网络等场景，都得依赖快速实时的数据采集、存储和分析得以实现，到2023年实时数据占全球数据圈24.5%的份额。

④上云：未来全球将有超过70%的企业选择多云部署模式，核心数据中心的数据存储容量占比将超过50%。

⑤空间：目前只有不到2%的企业数据被存储下来，其中只有10%被用于数据分析，这说明，我国数据存储利用能力存在很大缺口。

分布式存储和分布式系统的提升

简单说，分布式存储就是一种数据存储技术，通过网络使用每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散地存储在网络中的各个角落。

打个比方：假设将数据类比为一个人，存储比作客车，直接存储就是一辆客车运输人;一到春运，客车不够运输了就采用火车和高铁进行运输，火车和高铁一节一节的车厢运输，就是分布式存储。

分布式系统的出现的根由就是是为了用普通的机器完成单个计算机无法完成的计算、存储任务，处理更多的数据。

①容量横向扩展：集群容量的扩展，通过增加存储节点实现，因为网络强大的扩展性，在理论上节点可以扩充到几千个，可以很好的满足海量存储容量需求。

②连接横向扩展：在传统存储应用中，网络接入带宽往往成为瓶颈，主要原因是存储对外接口数量扩展能力有限，而分布式存储则可以很好地解决这个问题，接口数量可以随节点数量的增加，实现接入带宽的行增长。

③性能线性提升：每个节点的性能(IOPS带宽)基本是确定的，整体性能随节点数量的增加线性提升，满足业务规模扩容后对性能的需求。

　5G+分布式云加速边缘赋能新基建

我国5G已正式进入规模化商用阶段，边缘侧连接需求较大的业务场景迎来蓬勃发展的新契机。

在此趋势下，边缘赋能需求驱动云计算能力下沉，分布式云成为计算架构演进新趋势。

5G与分布式云融合，正加速边缘赋能新基建，同时催生的海量边缘连接场景，驱动云计算向一种更加全局化的分布式组合模式进阶。

伴随5G大规模商用部署，工业互联网、数字媒体等行业在5G融合方面已逐步开展商业部署，智慧医疗、车联网、智慧城市、数字农业等领域也纷纷在5G应用方面探索实践。

分布式云应运而生，成为新基建重要力量，边缘赋能需求驱动云计算能力下沉，分布式云成为计算架构演进新趋势。

MEC(Multi-access Edge Computing)边缘云较之传统云计算，MEC边缘云强调联接能力与计算能力的结合，包含覆盖资源层、虚拟化层、平台层、应用层的完整架构体系，并强调本地分流、网络能力开放、网络资源管理等特有能力。

有望取代HTTP的IPFS被寄予了厚望

互联网是建立在HTTP协议之上的，HTTP协议让互联网得到了迅速的发展，但是在互联网发展的今天，HTTP逐渐走出了不足，HTTP集中效率低下，而且成本很高。

现行网络所基于的HTTP协议中心化特性所导致的问题正在日益凸显，下载速度慢、数据安全性差、存储成本高、数据留存时间短、带宽有限且昂贵等桎梏显然适应不了即将来临的新时代。

IPFS(分布式文件系统)是一种点对点的超媒体传输协议，基于内容寻址的它相比HTTP下载速度快、数据安全性高、存储成本低廉、数据留存时间长，加入网络中的人越多网络越流畅。

在疫情没有爆发前，据统计IPFS在2019全年公共网络增长了30倍，在有效存储数据方面全球累计获得了300多亿份，目前还在以每两年翻一倍的速度爆发式增长。

这和IPFS目前被成功应用在数据存储、内容分享、文件传输、网络视频、社交网络、去中心化交易、身份服务、区块链应用、金融电商等各个领域的生态息息相关。

5G技术与应用即将井喷式发展的当下，爆发性增长的数据存储需求也是推动存储技术变革的重要推动力。

5G的出现还给IPFS提供了高带宽，使IPFS更加便捷，新基建、5G与IPFS结合必将会共建存储新时代。

　分布式存储仍面临若干技术瓶颈

①目前的分布式存储暂时无法实现数据价值分层，难以实现有效激励，可以考虑将底层构架和应用层策略相结合;

②分布式存储从代码实现到协议层都有很大的优化空间，还会受到网络规模限制，存在I/O性能问题;

③存储数据价值较高的用户需要承担更大的服务质量风险，付费意愿较弱，需要应用层解决方案。

④考虑到系统运维成本、服务质量和宏观监管等问题，未来的分布式存储系统需要引入中心化组织形式来弥补运营成本。