青云存储全面升级，自研QingStor U10000释放更多数据潜能

原创
作者： 赵立京 2022-05-24 10:34:30

云计算 青云科技产品技术解决方案总监张忠华表示，“青云科技的基因是算力，从云而来，向云而去。青云科技对软件定义存储的思考不是孤立的，而是把核心聚焦在如何满足算力对存储的需求这个维度上，让存储更好地为算力赋能。”

一辆自动驾驶汽车满负荷测试情况下，每天可以产生数TB甚至数十TB的数据量；一家智慧工厂每天产生的数据量可达PB级。移动App的全球下载量已经超过2300亿次，还有大量 AR/VR终端设备、5G 基站，都在源源不断的采集和产生新的数据。

数字时代，数据的量级呈指数级增长。并且，自动驾驶、物联网、AR、5G等典型场景所产生的数据主要以非结构化数据为主，包括图片、音频、视频、日志等。这些数据如果仅仅是存储起来，没有任何用处，只有“流动起来”，让数据在不同阶段为数字化业务产生不同的价值，数据才是有用的。

在数据流动的完整链条中，从最初的采集、处理到归档、再利用、销毁，都不可避免地涉及到了存储与大数据技术、存储与 AI 计算技术的结合，只有如此，才让数据更高效地被捕获、索引、分析和加工，从而实现数据层面的点石成金。这也正是青云科技存储产品线多年来一直努力的方向。

十年积累，打造两款核心存储产品

青云科技在2015年就推出了对象存储，之后又推出了NeonSAN块存储，以及文件存储。经过十年的演进，目前，青云存储QingStor 产品线主要演进为两款核心产品：一是 QingStor NeonSAN，二是 QingStor U10000。

QingStor NeonSAN，主要面向的场景是云盘、数据库以及虚拟化存储资源池场景的应用。作为一款分布式块存储，其整个设计原则是为 I/O 极致性能而设计的：最短I/O 时延可以控制在50微秒左右；只需要3台NeonSAN的节点，就可以实现100万的 IOPS。在金融行业多个企业客户中，青云科技的存储产品已经积累了多年的、稳定运行 Oracle RAC集群的实践经验。

QingStor U10000 主要面向非结构化数据的场景，包括各种影像数据、音视频数据、数据湖、大数据、物联网等场景。青云科技存储产品总监冯相东介绍说，U10000产品设计的初衷就是帮助客户更好地实现海量数据的价值挖掘，其核心特点包括：同时提供对象、文件、大数据接口，不同协议之间实现数据无损访问互通；单存储桶支持 100 多亿个对象，并且性能不会随之下降。

“我们没有用一种架构同时满足结构化和非结构化的数据场景。因为存储架构是没有银弹的，没有哪一种架构能够同时满足极致的性能和海量数据吞吐、计算。青云科技希望通过专业的存储分工，来更好的服务专业场景。”冯相东表示。

更懂算力的存储平台，真正自研的中国存储

青云科技的存储产品从诞生开始就服务于青云的云计算通用平台，包括公有云、私有云平台，历经十年大规模通用计算平台的考验。青云存储是包括 KubeSphere企业级容器平台在内的容器和云原生平台的底层存储，拥有基于 K8s通用平台的生产积累和实践。青云存储还支撑了全新推出的超算平——EHPC，承担了高效稳定的存储底座的角色。在大数据、IoT物联网等场景，青云存储有能力提供丰富的API和SDK选择，更好地对接算力层面的其他生态。

源于对技术的追求，同时也怀揣着中国存储服务数字中国的愿景，青云存储产品是真正自研的中国存储。青云存储 QingStor 的两款核心产品QingStor NeonSAN 和 QingStor U10000 都是自主设计，没有继承任何开源的架构，不存在任何知识产权的风险。自主研发使得技术百分百可控，不存在技术盲区，且具备处理任何复杂问题的能力。

存得稳、算得快、管得好的QingStor U10000

QingStor U10000并不是一款全新的产品，而是青云科技存储产品线在非结构化数据，包括对象、文件存储上的一次产品全面升级。  

  相较于之前的QingStor对象存储和文件存储，QingStor U10000主要在以下四个方面有明显的提升。

（一）支撑海量数据存储的能力，同时保证提供卓越的性能

存储集群要做到线性扩展才能支撑海量数据存储。U10000的元数据和数据存储服务都采用全分布式架构，最小规模3节点起，可以横向扩展大规模数据存储集群，并且在所有节点规模增长的时候均可以保证性能和容量的线性增长。

U10000 提供灵活的EC配比，用户可以根据业务的实际情况选择合适的配比。同时，U10000在保证线性扩展和高性价比EC集群的基础上，还能为通用场景，包括海量小文件场景提供卓越的I/O性能。比如，单桶单目录能支持百亿级小文件存储，并且能做到性能不衰减。在编程语言层面，U10000采用的Rust语言给予存储性能安全方面更优的保障。

（二）多协议无损互通，实现数据访问和高效流通

与其他一些通过格式转化的技术来实现协议互通的分布式存储厂商不同，U10000在底层部署了统一的索引架构，提供多种层次的能力。存储和读取数据之间不需要经过格式转化，不存在性能和语义的损失。U10000在文件、对象、HDFS等存储形态中都提供了多种存储接口的支持，如POSIX、SMB、NFS、FTP、HDFS、S3、SDK等，可以满足常见应用。

（三）算力的无缝对接，让数据点石成金

得益于多年的积累，U10000 具备丰富的数据处理的功能特性，能够提供一系列完善的API、SDK，可以轻松地对接大数据平台、数据处理的框架和服务，实现数据和算力的高效结合。

（四）多维的安全机制保障客户数据稳如泰山

首先在元数据和存储数据的分层设计方面，U10000采用在元数据副本之间做数据强一致性的处理，在数据层面提供了副本和多副本的策略，并且有自校验机制和增量修复机制，保障数据的安全。二是多重访问安全机制。包括多租户访问隔离，基于用户、资源、访问行为或者访问IP的安全访问机制，以及存储产品本身的高级特性，如版本管理、WORM、日志归档等存储的高级特性。三是智能预警机制。智能预警机制可以支持对所有资源做智能监控，对关键资源做出提前预警，比如硬盘、网卡、存储节点等。四是功能服务的运维监控平台。在运维监控平台里，U10000 也可以提供资源管理、配置管理、告警、日志、监控等一系列的统一管理功能。

从应用场景的角度，为客户提供完整的解决方案

在互联网体检行业，青云科技为慈铭体检提供了业务承载平台，使用了底层为QingStor 高性能块存储平台的云易捷超融合平台，与U10000的对象存储做对接，实现了PACS系统的实时调取和长期存储。同时，青云科技与该企业也在联合探索基于U10000 协议互通的能力，实现对象和文件可互通，为 AI医疗相关的应用提供更多的数据价值。

在制造业，青云科技与苏州华兴源创合作完成了物联网与边缘计算整体方案。青云科技为华兴源创部署了包括 U10000 在内的青云全栈存储能力，其中，U10000的对象存储和文件存储是核心，NeonSAN 块存储支持传统业务，整体形成数据存储的中台。分布式存储规避了很多问题，如海量数据存储膨胀带来的扩容问题，数据分析带来的数据流通性问题。在这个案例中，大数据分析、展现、集中监控等操作对存储的性能都提出了很高的要求。基于青云U10000非结构化数据的统一存储平台，数据流通变得更简单了，数据的价值得到了真正的发挥。

青云科技产品技术解决方案总监张忠华表示，“青云科技的基因是算力，从云而来，向云而去。青云科技对软件定义存储的思考不是孤立的，而是把核心聚焦在如何满足算力对存储的需求这个维度上，让存储更好地为算力赋能。”