服务器、存储和网络虚拟化的实现与应用

作者：我很荒 2020-03-04 20:42:55

云计算

虚拟化 虚拟化技术已经成为数据中心必备的技术之一，那什么叫虚拟化技术呢?虚拟化是一个广义的术语，在计算机方面通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。

[[317466]]

虚拟化技术已经成为数据中心必备的技术之一，那什么叫虚拟化技术呢?虚拟化是一个广义的术语，在计算机方面通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量，简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。

其中基于主机的虚拟化也称为基于服务器的虚拟化，是通过在服务器操作系统中嵌入或添加虚拟层来实现设备虚拟化的，该方法不需要添加特殊的硬件而只需安装具有虚拟化功能的软件模块，它以驱动程序的形式嵌入到应用服务器的操作系统中，呈现给操作系统的是逻辑卷(Logic Volume Management)，通过逻辑卷把分布在多机上的物理存储设备映射成一个统一的逻辑虚拟存储空间，逻辑卷管理系统实际上是一个从物理存储设备映射到逻辑卷的虚拟化存储管理层，它可实现系统级和应用级的多机间存储共享。

服务器、存储和网络虚拟化的实现与应用

运行在服务器上的虚拟化软件需要占用服务器的CUP、内存、带宽等开销，对操作系统的依赖性较大，使得虚拟化系统不能兼容不同的平台，移植性较差。

但是基于主机的虚拟化最容易实现的，一般只需在应用服务器端安装卷管理驱动模块就可以完成存储虚拟化的过程，具有成本低、同构平台下性能高的特点。

存储设备的虚拟化一般在存储设备的控制器中实现，又称为存储控制器的虚拟化。由于该虚拟化的实现方法直接面对具体的物理设备，在性能上达到最优，由于该虚拟化逻辑被集成到设备内部，存储虚拟化的管理简单方便而对用户透明，但由于这种虚拟化技术没有统一标准，一般只适用于特定厂商的产品，异构产品间很难实现存储级联，所以这种存储虚拟化产品的可扩展性易受到限制。

另外，由于厂商的限制，用户对存储设备的选择面也很窄，如果没有第三方的虚拟化软件提供底层屏蔽服务从而实现存储级联和扩展，则该系统的扩展性就很差，但近期也有一些研究成果采用基于目录的虚拟化方式”来克服这些不足。

网路的虚拟存储化技术是当前存储虚拟化的主流技术，它当前在商业上具有较多的成功产品。典型的网络虚拟存储技术主要包括网络附加存储NAS(Network Attached Storage)和存储区域网络SAN(Storage Area Network)。由于这两种系统的体系结构、通信协议、数据管理的方式不同，所以NAS主要应用于以文件共享为基础的虚拟存储系统中，而SAN主要应用在以数据库应用为主的块级别的数据共享领域。存储区域网络SAN是当前网络存储的主流技术。

虚拟化存储的实现可以分布在从主机到存储设备之间路径的不同位置上，由此可把基于网络的存储虚拟化细分为基于交换机的虚拟化、基于路由器的虚拟化、基于存储服务器端的虚拟化。

交换机的虚拟化是通过在交换机中嵌入固件化的虚拟化模块层来实现的，由于在交换机中集成有交换和虚拟化功能，交换机很容易成为系统的瓶颈，并可能产生单点故障。不过这种结构不需要在服务器上安装虚拟化软件，可以减少应用服务器的负载，也没有基于存储设备或者主机环境的安全性问题，在异构环境下有较好的互操作性。

路由器的虚拟化是将虚拟化模块集成到路由器中，使存储网络的路由器既具有交换机的交换功能，同时具有路由器的协议转换功能，它把存储虚拟化的范围由局域网范围内的虚拟存储扩展到了广域虚拟存储。

近年来，基于路由器的虚拟化技术得到了长足的发展和广泛的应用，例如基于iSCSI的虚拟存储技术等，它为广域网下的云存储夯实了底层结构。

专用元数据的虚拟化是在存储网络中接入一台专用的元数据服务器来完成存储虚拟化工作，属于带外虚拟化方法。

元数据服务器提供基于网络虚拟存储服务，它负责映射不同的物理设备，形成整个虚拟设备存储池的全局统一数据视图，并负责与驻留在各个应用服务器上的虚拟化代理软件进行通信，各应用服务器上的虚拟代理软件负责管理存储访问视图和I/O通信并实现数据访问重定向;该代理软件具有实现数据高速缓存和数据预存取功能，并具有维护本地存储视图和元数据的功能，可以缓存和暂存本地存取的元数据信息，并保持与专用元数据服务器的数据一致性，通过数据访问的局部性减少访问元数据服务器的次数从而可以显著的提高存储吞吐率。

网络的大规模虚拟存储技术将是今后一段时间内虚拟存储化技术的主要研究热点，其中基于iSCSI协议的网络存储被认为是继续推动存储区域网(SAN)快速发展的关键技术，该协议通过IP协议封装SCSI命令，把大型存储设备接入网络，使基于iSCSI的存储访问协议和互联网上，从而实现独立于地理位置的数据存储、数据备份和数据检索。

特别是10Gb以太网的迅速普及和缩短访问延迟的远程内存直接访问技术(RDMA)的快速发展，将会加速基于IP的虚拟存储技术的进一步快速发展。

互联网的虚拟化是存储技术的最高形式。它采用集群技术、网格技术、覆盖网技术、P2P技术以及分布式文件系统等技术实现将全球范围内不同类型的存储设备通过虚拟化技术整合起来，向外提供统一的虚拟内存和硬盘的功能。

虽然基于互联网的虚拟化的发展还处在起步阶段，但一些研究成果已经显现，如由Jun Wang，Xiaoyu Yao等人提出的基于成熟的TCP/IP协议的SAN技术，采用iSCSI协议及分层缓存机制实现对基于广域网的存储服务器的高速访问。基于互联网的存储虚拟化(例如存储云)实际上是一种为用户提供存储服务的虚拟化技术。

实现存储虚拟化系统的关键是实现众多异构存储设备到统一虚拟存储资源的视图映射，通常在用户和存储设备路径上加入存储管理部件来实现虚拟化，它屏蔽了不同类型、不同特性的物理设备，实现大量异构存储资源的整合，向用户提供方便访问、任意划分、在线扩容、安全稳定的虚拟存储系统。

实现虚拟化存储系统需要解决的一些关键技术包括：

异构存储介质的互联和统一管理。存储虚拟化的核心任务是兼容多种属性的存储设备，屏蔽它们间不同的物理特性并向用户提供统一的虚拟逻辑设备访问方式，由网络连接的各种物理存储设备以虚拟卷的形式向用户呈现，而用户关注的是存储容量和数据安全策略，而存储容量的物理分配则对用户透明的，存储虚拟化管理系统及其所兼容的协议屏蔽了连接到存储网络中的各类设备的差异性，简化了逻辑存储设备的管理、配置和分配，并向用户提供在线划分、扩展、配置存储和在线增加与更替存储设备的虚拟化存储管理技术。

数据的共享冲突与一致性。数据共享是存储虚拟化的主要功能之一，基于网络的虚拟存储对数据共享访问提出了很高的要求，存放在不同物理存储器中的数据拷贝为操作系统间及操作系统和数据仓库问的数据共享带来便利，但同时必须仔细设计锁机制算法、备份分发算法以及缓存一致性技术来保证数据的完整性。

数据的透明存储和容错容灾策略。数据的透明访问需要虚拟存储屏蔽存储设备的物理差异性，由系统按照资源的特性及用户的需求自动调度和利用存储资源，便于用户在逻辑卷的基础上对数据进行复制、镜像、备份以及实现虚拟设备级的数据快照等功能。

虚拟存储系统必需按照数据的安全级别建立容错和容灾机制，以克服系统的误操作、单点失效、意外灾难等因素造成的数据损失。系统必需对用户透明地的实现多种机制下的数据备份、数据系统容错和灾难预警及自动恢复等策略。

性能优化和负载均衡。存储系统应该从全局的观点并根据不同存储设备的特性来优化存储系统，应该根据不同存储的存储响应时问、吞吐率和存储容量来安排多级存储体系结构，实现数据的多级高速缓存和数据预取功能。

根据用户的需求安排不同的存储策略实现对数据的按需存取，仔细设计I/O均衡策略，根据具体的物理设备合理分配用户的I/O请求，使用条带化方法、数据分块、时空负载区分、数据主动存取和数据的过预取策略来提高数据的访问效率，为了进一步提高访问效率，也可以采用基于存储对象的存储主动服务策略来提高数据的主动预测服务。

数据的安全访问策略。基于网络的存储必需对访问加以控制，数据被越权访问和恶意攻击是虚拟存储系统必需要避免的，透明的存储服务所带来的数据安全性必需由虚拟化管理软件来实现，其实现安全访问的策略是多样的，如基于密钥的认证管理及数据加密策略，以及在存储体之上增加一层可信的管理层节点等都是可行的方法。

高可靠性和可扩展性。高可靠和可扩展性是虚拟存储系统必需具备的特性，系统应该采用高效的故障预测、故障检测、故障隔离和故障恢复技术来保证系统的高可靠性。

虚拟存储系统应该在不中断正常存储服务的前提下实现对存储容量和存储服务进行任意扩展，透明的添加和更替存储设备，虚拟存储系统还应该具有自动发现、安装、检测和管理不同类型存储设备的能力。