1. 树叶云首页
  2. 技术资讯

生产实践：使用 GlusterFS 搭建 Kubernetes 存储卷集群

运维••技术资讯

我们将重点讨论如何使用 GlusterFS 搭建一个可靠的存储解决方案，以供 Kubernetes 集群使用。

1.服务器列表：

  • 172.18.1.52
  • 172.18.1.53
  • 172.18.1.54

2.安装yum源

wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-9.repo

3.安装glusterfs服务端

在三个节点分别执行

yum -y install centos-release-gluster5.noarch
yum -y install glusterfs-server

设置开机启动，并启动

在三个节点分别执行

systemctl start glusterd
 systemctl status glusterd
 systemctl enable glusterd

关闭节点防火墙

在三个节点分别执行

systemctl stop firewalld

组建集群

在172.18.1.52服务器上执行以下命令：

#IP地址为其他集群节点的IP，多个ip执行多次
gluster peer probe  172.18.1.53  
gluster peer probe  172.18.1.54

查看集群状态

gluster peer status

4.heketi安装

Heketi 是一个用于管理和配置 GlusterFS 分布式文件系统的开源项目，Heketi的主要目标是简化 GlusterFS 的管理和配置。它提供了一个 RESTful API，使用户能够轻松地创建、调整和删除 GlusterFS 卷

设置免密登录glusterfs node节点

ssh-keygen -t rsa
ssh-copy-id -p 22 [email protected]
ssh-copy-id -p 22 [email protected]
ssh-copy-id -p 22 [email protected]

安装heketi

在172.18.1.52执行

yum install  -y heketi heketi-client

修改heketi 配置文件

访问/etc/heketi/heketi.json，并修改

修改启动文件/usr/lib/systemd/system/heketi.service，否则启动报错

执行以下命令

systemctl daemon-reload
 systemctl enable heketi
 systemctl start heketi

验证是否启动成功

返回 Hello from Heketi 则成功

curl -s 127.0.0.1:8080/hello | awk '{print $0}'

使用heketi创建glusterfs集群

执行fdisk -l查看可挂载磁盘，可以看到/dev/vdb为未挂载

创建 /etc/heketi/heketi-topology.json,配置内容如下：

# 通过topology.json文件定义组建GlusterFS集群；
# topology指定了层级关系：clusters-->nodes-->node/devices-->hostnames/zone；
# node/hostnames字段的manage填写主机ip，指管理通道，在heketi服务器不能通过hostname访问GlusterFS节点时不能填写hostname；
# node/hostnames字段的storage填写主机ip，指存储数据通道，与manage可以不一样；
# node/zone字段指定了node所处的故障域，heketi通过跨故障域创建副本，提高数据高可用性质，如可以通过rack的不同区分zone值，创建跨机架的故障域；
# devices字段指定GlusterFS各节点的盘符（可以是多块盘），必须是未创建文件系统的裸设备

{
  "clusters": [
    {
      "nodes": [
        {
          "node": {
            "hostnames": {
              "manage": [
                "172.18.1.52"
              ],
              "storage": [
                "172.18.1.52"
              ]
            },
            "zone": 1
          },
          "devices": [
            "/dev/vdb"
          ]
        },
        {
          "node": {
            "hostnames": {
              "manage": [
               "172.18.1.53"
              ],
              "storage": [
                 "172.18.1.53"
              ]
            },
            "zone": 2
          },
          "devices": [
            "/dev/vdb"
          ]
        },
        {
          "node": {
            "hostnames": {
              "manage": [
               "172.18.1.54"
              ],
              "storage": [
                "172.18.1.54"
              ]
            },
            "zone": 3
          },
          "devices": [
            "/dev/vdb"
          ]
        }
      ]
    }
  ]
}

执行以下命令创建集群

heketi-cli --user=admin --secret=12123  --server http://127.0.0.1:8080 topology load --json=/etc/heketi/heketi-topology.json

5.创建k8s StorageClass

k8s中的StorageClass用于定义和配置持久卷（Persistent Volume）的资源对象。StorageClass 提供了一种抽象层，使得管理员能够定义不同类型的存储和访问模式，并将其提供给应用程序开发人员使用。

创建gfs-secret.yaml

执行echo -n “mypassword” | base64，对上面配置的admin密码进行加密，并修改key值

apiVersion: v1
kind: Secret
metadata:
  name: heketi-secret
  namespace: default
data:
  # base64 encoded password. E.g.: echo -n "mypassword" | base64
  key: c2dqcHJvZDIwMjMxcWF6 
type: kubernetes.io/glusterfs

创建gfs-StorageClass.yaml

创建gfs-StorageClass.yaml需要提前准备以下两个参数

  • resturl值为搭建好之后的heketi接口地址http://172.18.1.52:8080
  • clusterid值，获取方式如下
heketi-cli --user=admin --secret=1212  --server http://127.0.0.1:8080 cluster list

最终我们的配置文件如下

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: gfs-storage
provisioner: kubernetes.io/glusterfs
parameters:
  # resturl 是第二步搭建好之后的heketi 接口地址
  resturl: "http://172.18.1.52:8080"
  # Clusterid 必填
  clusterid: "caf83363937a99eccfd1e1c03112fd2d"
  restuser: "admin"
  secretNamespace: "default"
  secretName: "heketi-secret"
  gidMin: "40000"
  gidMax: "50000"
#  volumetype: "none"
  volumenameprefix: "gfs"

执行以下命令部署到k8s集群

执行以下命令

kubectl apply -f gfs-secret.yaml
kubectl apply -f gfs-StorageClass.yaml

查询创建结果

kubectl get secret
kubectl get sc

以上结果表明，创建成功

6.测试

下面我们部署一个spring boot工程，并把日志文件挂载到gfs中

新建backend-log-pvc.yaml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: backend-log-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: gfs-storage

新建backend-dp.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name:  backend
spec:
  selector:
    matchLabels:
      app:  backend
  replicas: 1
  template:
    metadata:
      labels:
        app:  backend
        version: latest
    spec:
      containers:
        - name: backend
          image: "dweizhao/backend:latest"
          imagePullPolicy: Always
          resources:
            limits:
              cpu: 1000m
              memory: 1G
            requests:
              cpu: 1m
              memory: 200M
          volumeMounts:
            - mountPath: /data/web_log/java/backend
              name: web-log
      volumes:
        - name: web-log
          persistentVolumeClaim:
            claimName: backend-log-pvc

部署

kubectl apply -f backend-log-pvc.yaml
kubectl apply -f backend-dp.yaml

部署完成以后，查看pv与系统日志看到挂载成功

验证挂载是否成功

登录文件服务器，执行df -h查看挂载日志文件，如下所图

由于挂载名称无法识别，导致无法定位目标文件，因此执行mount.sh(辅助命令章节)脚本，把fs卷挂载到/data/web_log/目录下并以namespace+pvcName命名，如下图执行完脚本，进入/data/web_log/default_backend-log-pvc目录，查看挂载日志

7.辅助命令

mount.sh

在heketi节点上执行以下命令，把fs卷挂载到/data/web_log/目录下，用于查询一些日志 脚本如下：

#/bin/sh
VolumeList=$(heketi-cli --user=admin --secret=1212 --server http://127.0.0.1:8080 volume list | awk -F ':' '{print $NF}')
for Volume in ${VolumeList[@]}; do
    MountDir=$(echo $Volume | awk -F '_' '{for(i=2;i<NF;i++) printf("%s_",$i);printf("\n") }' | sed 's/.$//g')

    # 检查文件夹是否存在
    if [ ! -d "/data/web_log/$MountDir" ]; then
        mkdir -p "/data/web_log/$MountDir"
        echo "create dir /data/web_log/$MountDir"
        mount -t glusterfs "127.0.0.1:$Volume" "/data/web_log/$MountDir"
    else
     echo "Already dir /data/web_log/$MountDir"
    fi
done

初始化磁盘数据

pvremove /dev/vdb --force --force

文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/290137.html<

赞 (0)
运维的头像运维
00
上一篇2025-05-19 02:11
下一篇 2025-05-19 02:12

相关推荐

  • 如何制作个人主题技术资讯

    个人主题怎么制作？

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程，无论是用于个人博客、作品集、社交媒体账号还是品牌形象，核心都是围绕“个人特色”展开，以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程，明确主题定位：找到个人特色的核心主题定位是所有工作的起点，需要先回答……

    运维的头像运维
    2025-11-20
    0
  • 如何管理社群营销技术资讯

    社群营销管理关键是什么？

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群，实现用户留存、转化和品牌传播，其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明：明确社群定位与目标社群管理的首要任务是精准定位，需明确社群的核心价值（如行业交流、产品使用指导、兴趣分享等）、目标用户画像……

    运维的头像运维
    2025-11-20
    0
  • 香港公司如何网站备案技术资讯

    香港公司网站备案需要什么材料？

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程，尤其需兼顾中国内地与香港两地的监管要求，由于香港公司注册地与中国内地不同，其网站若主要服务内地用户或使用内地服务器，需根据服务器位置、网站内容性质等，选择对应的备案路径（如工信部ICP备案或公安备案），以下从备案主体资格、流程步骤、材料准备、注意事项……

    运维的头像运维
    2025-11-20
    0
  • 如何企业上云推广技术资讯

    如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求，构建系统性、多维度的推广体系，以下从市场定位、策略设计、执行落地及效果优化四个维度，详细拆解企业上云推广的实践路径，精准定位：明确目标企业与核心价值企业上云并非“一刀切”的方案，需先锁定目标客户群体，提炼差异化价值主张，客户分层……

    运维的头像运维
    2025-11-20
    0
  • PS如何设计搜索框技术资讯

    PS设计搜索框的实用技巧有哪些？

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量，以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明，帮助打造符合需求的搜索框，设计前的规划明确使用场景：根据网站或APP的整体风格确定搜索框的调性，例如极简风适合细线条和纯色，科技感适合渐变和发光效果，电商类则可能需要突出搜索……

    运维的头像运维
    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注