云原生 Kubernetes 分布式存储平台 Longhorn 初体验

作者：阳明 2022-02-21 10:17:33

云计算

云原生今天我们为大家介绍的是 Rancher 开源的一款 Kubernetes 的云原生分布式块存储方案。

前面我们学习了本地存储、NFS共享存储，除了这些存储类型之外，还有一个块存储，同样为 Kubernetes 提供块存储的方案有很多，比如 Ceph RBD，今天我们为大家介绍的是 Rancher 开源的一款 Kubernetes 的云原生分布式块存储方案 – Longhorn，Longhorn 是一个轻量级且功能强大的云原生 Kubernetes 分布式存储平台，可以在任意基础设施上运行，Longhorn 还可以与 Rancher 结合使用，将帮助你在 Kubernetes 环境中轻松、快速和可靠地部署高可用性持久化块存储。

使用 Longhorn，可以：

使用 Longhorn 卷作为 Kubernetes 集群中分布式有状态应用程序的持久存储
将你的块存储分区为 Longhorn 卷，以便你可以在有或没有云提供商的情况下使用 Kubernetes 卷
跨多个节点和数据中心复制块存储以提高可用性
将备份数据存储在 NFS 或 AWS S3 等外部存储中
创建跨集群灾难恢复卷，以便可以从第二个 Kubernetes 集群中的备份中快速恢复主 Kubernetes 集群中的数据
调度一个卷的快照，并将备份调度到 NFS 或 S3 兼容的二级存储
从备份还原卷
不中断持久卷的情况下升级 Longhorn

Longhorn 还带有独立的 UI，可以使用 Helm、kubectl 或 Rancher 应用程序目录进行安装。

架构

Longhorn 为每个卷创建一个专用的存储控制器，并在多个节点上存储的多个副本之间同步复制该卷。Longhorn 在整体上分为两层：数据平面和控制平面，Longhorn Engine 是存储控制器，对应数据平面，Longhorn Manager 对应控制平面。

Longhorn Manager 会以 DaemonSet 的形式在 Longhorn 集群中的每个节点上运行，它负责在 Kubernetes 集群中创建和管理卷，并处理来自 UI 或 Kubernetes 卷插件的 API 调用，它是遵循 Kubernetes 控制器模式。

Longhorn Manager 通过与 Kubernetes APIServer 通信来创建新的 Longhorn volume CRD，然后 Longhorn Manager 会一直 Watch APIServer 的响应，当它看到发现创建了一个新的 Longhorn volume CRD 时，Longhorn Manager 就会去创建一个新的对应卷。当 Longhorn Manager 被要求创建一个卷时，它会在卷所连接的节点上创建一个 Longhorn Engine 实例，并在每个将放置副本的节点上创建一个副本，副本应放置在不同的主机上以确保最大可用性。副本的多条数据路径确保了 Longhorn 卷的高可用性，即使某个副本或引擎出现问题，也不会影响所有副本或 Pod 对卷的访问。

Longhorn Engine 始终与使用 Longhorn 卷的 Pod 在同一节点中运行，它在存储在多个节点上的多个副本之间同步复制卷。

如下图所示，描述了 Longhorn 卷、Longhorn Engine、副本实例和磁盘之间的读/写数据流:

卷、Longhorn Engine、副本实例和磁盘之间的读/写数据流

上图中有3个 Longhorn 卷实例
每个卷都有一个专用控制器，称为 Longhorn Engine，并作为 Linux 进程运行
每个 Longhorn 卷有两个副本，每个副本也是一个 Linux 进程
图中的箭头表示卷、控制器实例、副本实例和磁盘之间的读/写数据流
通过为每个卷创建单独的 Longhorn Engine，如果一个控制器发生故障，其他卷的功能不会受到影响

注意: 图中的 Engine 并非是单独的一个 Pod，而是每一个 Volume 会对应一个 golang exec 出来的 Linux 进程

在 Longhorn 中，每个 Engine 只需要服务一个卷，简化了存储控制器的设计，由于控制器软件的故障域与单个卷隔离，因此控制器崩溃只会影响一个卷。由于 Longhorn Engine 足够简单和轻便，因此我们可以创建多达 100000 个独立的 Engine，Kubernetes 去调度这些独立的 Engine，从一组共享的磁盘中提取资源，并与 Longhorn 合作形成一个弹性的分布式块存储系统。

因为每个卷都有自己的控制器，所以每个卷的控制器和副本实例也可以升级，而不会导致 IO 操作明显中断。Longhorn 可以创建一个长时间运行的 job 任务来协调所有卷的升级，而不会中断系统的运行。

Longhorn 是通过 CSI 驱动在 Kubernetes 中管理的，CSI 驱动通过调用 Longhorn 来创建卷，为 Kubernetes 工作负载创建持久性数据，CSI 插件可以让我们创建、删除、附加、分离、挂载卷，并对卷进行快照操作，Kubernetes 集群内部使用 CSI 接口与Longhorn CSI 驱动进行通信，而 Longhorn CSI 驱动是通过使用 Longhorn API 与 Longhorn Manager 进行通信。

此外 Longhorn 还提供一个 UI 界面程序，通过 Longhorn API 与 Longhorn Manager 进行交互，通过 Longhorn UI 可以管理快照、备份、节点和磁盘等，此外，集群工作节点的空间使用情况还可以通过 Longhorn UI 查看。

安装

要在 Kubernetes 集群上安装 Longhorn，需要集群的每个节点都必须满足以下要求：

与 Kubernetes 兼容的容器运行时(Docker v1.13+、containerd v1.3.7+ 等)
Kubernetes v1.18+
安装 open-iscsi，并且 iscsid 守护程序在所有节点上运行，这是必要的，因为 Longhorn 依赖主机上的 iscsiadm 为 Kubernetes 提供持久卷
RWX 支持需要每个节点上都安装 NFSv4 客户端
宿主机文件系统支持 file extents 功能来存储数据，目前我们支持：ext4 与 XFS
bash、curl、findmnt、grep、awk、blkid、lsblk 等工具必须安装
Mount propagation 必须启用，它允许将一个容器挂载的卷与同一 pod 中的其他容器共享，甚至可以与同一节点上的其他 pod 共享

Longhorn workloads 必须能够以 root 身份运行才能正确部署和操作 Longhorn。

依赖

为了验证这些环境要求，Longhorn 官方提供了一个脚本来帮助我们进行检查，执行该脚本需要在本地安装 jq 工具，执行下面的命令即可运行脚本：

curl-sSfLhttps://raw.githubusercontent.com/longhorn/longhorn/v1.2.3/scripts/environment_check.sh | bash
daemonset.apps/longhorn-environment-checkcreated
waitingforpodstobecomeready (0/2)
waitingforpodstobecomeready (0/2)
allpodsready (2/2)
MountPropagationisenabled!
cleaningup...
daemonset.apps"longhorn-environment-check"deleted
cleanupcomplete

如果没有检查通过会给出相关的提示信息。

要安装 open-iscsi，可以直接使用下面的命令即可：

#apt-getinstallopen-iscsi#Debian和Ubuntu系统命令
yuminstall-yiscsi-initiator-utils

Longhorn 官方还为我们还提供了一个 iscsi 安装程序，可以更轻松地自动安装 open-iscsi：

kubectlapply-fhttps://raw.githubusercontent.com/longhorn/longhorn/v1.2.3/deploy/prerequisite/longhorn-iscsi-installation.yaml

部署完成后，运行以下命令来检查安装程序的 pod 状态：

kubectlgetpod|greplonghorn-iscsi-installation
longhorn-iscsi-installation-49hd71/1Running021m
longhorn-iscsi-installation-pzb7r1/1Running039m

也可以通过以下命令查看日志，查看安装结果：

kubectllogslonghorn-iscsi-installation-pzb7r-ciscsi-installation
...
Installed:
iscsi-initiator-utils.x86_640:6.2.0.874-7.amzn2
DependencyInstalled:
iscsi-initiator-utils-iscsiuio.x86_640:6.2.0.874-7.amzn2
Complete!
Createdsymlinkfrom/etc/systemd/system/multi-user.target.wants/iscsid.serviceto/usr/lib/systemd/system/iscsid.service.
iscsiinstallsuccessfully

同样要安装 NFSv4 客户端，可以直接使用下面的命令一键安装：

#apt-getinstallnfs-common#Debian和Ubuntu系统命令
yuminstallnfs-utils

同样 Longhorn 官方也提供了一个 nfs 客户端安装程序，可以更轻松地自动安装 nfs-client：

kubectlapply-fhttps://raw.githubusercontent.com/longhorn/longhorn/v1.2.3/deploy/prerequisite/longhorn-nfs-installation.yaml

部署完成后，运行以下命令来检查安装程序的 pod 状态：

kubectlgetpod|greplonghorn-nfs-installation
NAMEREADYSTATUSRESTARTSAGE
longhorn-nfs-installation-t2v9v1/1Running0143m
longhorn-nfs-installation-7nphm1/1Running0143m

也可以通过以下命令查看日志，查看安装结果：

kubectllogslonghorn-nfs-installation-t2v9v-cnfs-installation
...
nfsinstallsuccessfully

相关依赖环境准备好过后就可以开始安装 Longhorn 了。

部署

官方支持使用 Rancher Catalog 应用、kubectl 与 helm 三种方式来进行安装，同样这里我们选择使用 helm 进行安装。

首先添加 longhorn 的 chart 仓库：

helmrepoaddlonghornhttps://charts.longhorn.io
helmrepoupdate

然后可以根据自己的实际场景定制 values 文件，可以通过下面的命令获取默认的 values 文件：

curl-Lovalues.yamlhttps://raw.githubusercontent.com/longhorn/charts/master/charts/longhorn/values.yaml

然后可以修改 values 文件中的配置，longhorn 推荐单独挂盘作为存储使用，这里作为测试直接使用默认的 /var/lib/longhorn 目录。

如下所示默认配置的示例片段：

defaultSettings:
backupTarget: s3://backupbucket@us-east-1/backupstore
backupTargetCredentialSecret: minio-secret
createDefaultDiskLabeledNodes: true
defaultDataPath: /var/lib/longhorn-example/
replicaSoftAntiAffinity: false
storageOverProvisioningPercentage: 600
storageMinimalAvailablePercentage: 15
upgradeChecker: false
defaultReplicaCount: 2
defaultDataLocality: disabled
guaranteedEngineCPU:
defaultLonghornStaticStorageClass: longhorn-static-example
backupstorePollInterval: 500
taintToleration: key1=value1:NoSchedule; key2:NoExecute
systemManagedComponentsNodeSelector: "label-key1:label-value1"
priority-class: high-priority
autoSalvage: false
disableSchedulingOnCordonedNode: false
replicaZoneSoftAntiAffinity: false
volumeAttachmentRecoveryPolicy: never
nodeDownPodDeletionPolicy: do-nothing
mkfsExt4Parameters: -O^64bit,^metadata_csum
guaranteed-engine-manager-cpu: 15
guaranteed-replica-manager-cpu: 15

ingress:  #开启ingress
enabled: true
ingressClassName: nginx#配置ingressclass
host: longhorn.k8s.local
annotations: #添加annotations
nginx.ingress.kubernetes.io/proxy-body-size: 10000m
enablePSP: false

然后执行下面的命令一键安装 Longhorn：

helmupgrade--installlonghornlonghorn/longhorn--namespacelonghorn-system--create-namespace-fvalues.yaml
NAME: longhorn
LASTDEPLOYED: SunFeb2016:14:052022
NAMESPACE: longhorn-system
STATUS: deployed
REVISION: 1
TESTSUITE: None
NOTES:
Longhornisnowinstalledonthecluster!
PleasewaitafewminutesforotherLonghorncomponentssuchasCSIdeployments, EngineImages, andInstanceManagerstobeinitialized.
Visitourdocumentationathttps://longhorn.io/docs/

部署后可以查看 Pod 的运行状态来确保安装正确：

kubectlgetpods-nlonghorn-system
NAMEREADYSTATUSRESTARTSAGE
csi-attacher-5f46994f7-fqntq1/1Running033s
csi-attacher-5f46994f7-ltxg81/1Running036m
csi-attacher-5f46994f7-vw75d1/1Running036m
csi-provisioner-6ccbfbf86f-bvc991/1Running033s
csi-provisioner-6ccbfbf86f-k46hn1/1Running036m
csi-provisioner-6ccbfbf86f-lxm8h1/1Running036m
csi-resizer-6dd8bd4c97-52gmm1/1Running035m
csi-resizer-6dd8bd4c97-9btj61/1Running03s
csi-resizer-6dd8bd4c97-fdjmp1/1Running035m
csi-snapshotter-86f65d8bc-5mjk21/1Running033s
csi-snapshotter-86f65d8bc-5rrfs1/1Running035m
csi-snapshotter-86f65d8bc-bg6nv1/1Running035m
engine-image-ei-fa2dfbf0-jrb2d1/1Running036m
engine-image-ei-fa2dfbf0-m57991/1Running036m
instance-manager-e-051171e61/1Running036m
instance-manager-e-db94b4b71/1Running024m
instance-manager-r-dd84ad5c1/1Running036m
instance-manager-r-f5eefb8a1/1Running024m
longhorn-csi-plugin-mljt22/2Running035m
longhorn-csi-plugin-rfzcj2/2Running024m
longhorn-driver-deployer-6db849975f-dh4p41/1Running058m
longhorn-manager-bxks61/1Running024m
longhorn-manager-tj58k1/1Running02m50s
longhorn-ui-6f547c964-k56xr1/1Running058m

由于上面安装的时候我们添加了 Ingress 支持，所以可以通过配置的域名去访问 Longhorn UI：

kubectlgetingress-nlonghorn-system
NAMECLASSHOSTSADDRESSPORTSAGE
longhorn-ingressnginxlonghorn.k8s.local192.168.31.31804m11s

这里我们使用的 ingress-nginx 这个控制器，安装完成后在浏览器中直接访问 http://longhorn.k8s.local 即可：

Longhorn UI 界面中展示了当前存储系统的状态，也可以在页面中进行其他相关配置。

此外还会创建一个默认的 StorageClass 对象：

kubectlgetsclonghorn
NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE
longhorn (default)   driver.longhorn.ioDeleteImmediatetrue91m
kubectlgetsclonghorn-oyaml
allowVolumeExpansion: true
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
annotations:
    ......
storageclass.kubernetes.io/is-default-class: "true"
creationTimestamp: "2022-02-20T09:32:51Z"
  ......
name: longhorn
resourceVersion: "4524911"
uid: 6066e858-e7ab-4dab-95db-7ff829e6e01b
parameters:
fromBackup: ""
fsType: ext4
numberOfReplicas: "3"
staleReplicaTimeout: "30"
provisioner: driver.longhorn.io
reclaimPolicy: Delete
volumeBindingMode: Immediate

测试

下面我们来测试使用 longhorn 提供一个存储卷，由于提供了默认的 StorageClass，所以直接创建 PVC 即可，创建一个如下所示的 PVC：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pvc
spec:
storageClassName: longhorn
accessModes:
-ReadWriteOnce
resources:
requests:
storage: 1Gi

然后部署一个 mysql 应用来使用上面的 PVC 进行数据持久化：

apiVersion: apps/v1
kind: Deployment
metadata:
name: mysql
spec:
selector:
matchLabels:
app: mysql
strategy:
type: Recreate
template:
metadata:
labels:
app: mysql
spec:
containers:
-image: mysql:5.6
name: mysql
env:
-name: MYSQL_ROOT_PASSWORD
value: password
ports:
-containerPort: 3306
name: mysql
volumeMounts:
-name: data
mountPath: /var/lib/mysql
volumes:
-name: data
persistentVolumeClaim:
claimName: mysql-pvc

直接创建上面的资源对象：

kubectlgetpvcmysql-pvc
NAMESTATUSVOLUMECAPACITYACCESSMODESSTORAGECLASSAGE
mysql-pvcBoundpvc-ec17a7e4-7bb4-4456-9380-353db3ed43071GiRWOlonghorn8s
kubectlgetpods
NAMEREADYSTATUSRESTARTSAGE
mysql-6879698bd4-r8cxz1/1Running03m10s
kubectlexec-itmysql-6879698bd4-r8cxz--mysql-uroot-ppassword
Warning: Usingapasswordonthecommandlineinterfacecanbeinsecure.
WelcometotheMySQLmonitor.  Commandsendwith ; or\g.
YourMySQLconnectionidis1
Serverversion: 5.6.51MySQLCommunityServer (GPL)

Copyright (c) 2000, 2021, Oracleand/oritsaffiliates. Allrightsreserved.

OracleisaregisteredtrademarkofOracleCorporationand/orits
affiliates. Othernamesmaybetrademarksoftheirrespective
owners.
Type'help;'or'\h'forhelp. Type'\c'toclearthecurrentinputstatement.
mysql>createdatabaselonghorn;
QueryOK, 1rowaffected (0.01sec)
mysql>

应用启动成功后我们可以去节点上查看数据来验证是否成功：

ls/var/lib/longhorn/
engine-binarieslonghorn-disk.cfgreplicas
ls/var/lib/longhorn/replicas/
pvc-ec17a7e4-7bb4-4456-9380-353db3ed4307-c40376c5
ls/var/lib/longhorn/replicas/pvc-ec17a7e4-7bb4-4456-9380-353db3ed4307-c40376c5
revision.countervolume-head-000.imgvolume-head-000.img.metavolume.me

需要注意的是 longhorn 是分布式块存储，与分布式文件系统不同，不能超过 pv 设置的存储大小(上例中为1G)。我们在数据库中创建了一个名为 longhorn 的数据库，然后我们重建 Pod 再次查看数据是否依然存在：

kubectlgetpods
NAMEREADYSTATUSRESTARTSAGE
mysql-6879698bd4-s8tfv1/1Running06s
kubectlexec-itmysql-6879698bd4-s8tfv--mysql-uroot-ppassword
Warning: Usingapasswordonthecommandlineinterfacecanbeinsecure.
WelcometotheMySQLmonitor.  Commandsendwith ; or\g.
YourMySQLconnectionidis1
Serverversion: 5.6.51MySQLCommunityServer (GPL)

Copyright (c) 2000, 2021, Oracleand/oritsaffiliates. Allrightsreserved.

OracleisaregisteredtrademarkofOracleCorporationand/orits
affiliates. Othernamesmaybetrademarksoftheirrespective
owners.

Type'help;'or'\h'forhelp. Type'\c'toclearthecurrentinputstatement.

mysql>showdatabases;
+---------------------+
|Database|
+---------------------+
|information_schema|
|longhorn|
|#mysql50#lost+found|
|mysql|
|performance_schema|
+---------------------+
5rowsinset (0.00sec)

mysql>