1. 树叶云首页
  2. 技术资讯

flux2+kustomize+helm+github 多集群 GitOps 云原生渐进式交付

运维••技术资讯

flux2+kustomize+helm+github 多集群 GitOps 云原生渐进式交付

作者：为少 2021-06-24 08:25:38

云计算

云原生 我们将配置 Flux 以使用 HelmRepository 和 HelmRelease 自定义资源安装、测试和升级演示应用程序。 Flux 将监控 Helm 存储库，并根据 semver 范围自动将 Helm 版本升级到最新的 chart 版本。

对于此示例，我们假设有两个集群的场景：暂存(staging)和生产(production)。最终目标是利用 Flux 和 Kustomize 来管理两个集群，同时最大限度地减少重复声明。

我们将配置 Flux 以使用 HelmRepository 和 HelmRelease 自定义资源安装、测试和升级演示应用程序。 Flux 将监控 Helm 存储库，并根据 semver 范围自动将 Helm 版本升级到最新的 chart 版本。

准备工作

flux2-kustomize-helm-example

  • https://github.com/fluxcd/flux2-kustomize-helm-example

您将需要 Kubernetes 集群版本 1.16 或更新版本以及 kubectl 版本 1.18 或更新。对于快速的本地测试，您可以使用 Kubernetes kind。不过，任何其他 Kubernetes 设置也可以正常工作。

为了遵循本指南，您需要一个 GitHub 帐户和一个可以创建存储库的 personal access token(检查 repo 下的所有权限)。

使用 Homebrew 在 MacOS 和 Linux 上安装 Flux CLI：

  1. brew install fluxcd/tap/flux 

或者通过使用 Bash 脚本下载预编译的二进制文件来安装 CLI：

  1. curl -s https://fluxcd.io/install.sh | sudo bash 

项目结构

Git 存储库包含以下顶级目录：

  • apps 目录包含每个集群具有自定义配置的 Helm 版本
  • infrastructure 目录包含常见的基础设施工具，例如 NGINX ingress controller 和 Helm 存储库定义
  • clusters 目录包含每个集群的 Flux 配置
  1. ├── apps 
  2. │   ├── base 
  3. │   ├── production  
  4. │   └── staging 
  5. ├── infrastructure 
  6. │   ├── nginx 
  7. │   ├── redis 
  8. │   └── sources 
  9. └── clusters 
  10.     ├── production 
  11.     └── staging 

apps 配置结构为：

  • apps/base/ 目录包含命名空间和 Helm 发布定义(release definitions)
  • apps/production/ 目录包含生产 Helm 发布值(release values)
  • apps/staging/ 目录包含 staging values
  1. ./apps/ 
  2. ├── base 
  3. │   └── podinfo 
  4. │       ├── kustomization.yaml 
  5. │       ├── namespace.yaml 
  6. │       └── release.yaml 
  7. ├── production 
  8. │   ├── kustomization.yaml 
  9. │   └── podinfo-patch.yaml 
  10. └── staging 
  11.     ├── kustomization.yaml 
  12.     └── podinfo-patch.yaml 

在 apps/base/podinfo/ 目录中，我们有一个 HelmRelease，两个集群都有共同的值：

  1. apiVersion: helm.toolkit.fluxcd.io/v2beta1 
  2. kind: HelmRelease 
  3. metadata: 
  4.   name: podinfo 
  5.   namespace: podinfo 
  6. spec: 
  7.   releaseName: podinfo 
  8.   chart: 
  9.     spec: 
  10.       chart: podinfo 
  11.       sourceRef: 
  12.         kind: HelmRepository 
  13.         name: podinfo 
  14.         namespace: flux-system 
  15.   interval: 5m 
  16.   values: 
  17.     cache: redis-master.redis:6379 
  18.     ingress: 
  19.       enabled: true 
  20.       annotations: 
  21.         kubernetes.io/ingress.class: nginx 
  22.       path: "/*" 

在 apps/staging/ 目录中，我们有一个带有 staging 特定值的 Kustomize 补丁(patch)：

  1. apiVersion: helm.toolkit.fluxcd.io/v2beta1 
  2. kind: HelmRelease 
  3. metadata: 
  4.   name: podinfo 
  5. spec: 
  6.   chart: 
  7.     spec: 
  8.       version: ">=1.0.0-alpha" 
  9.   test: 
  10.     enable: true 
  11.   values: 
  12.     ingress: 
  13.       hosts: 
  14.         - podinfo.staging 

请注意，使用 version: “>=1.0.0-alpha” 我们配置 Flux 以自动将 HelmRelease 升级到最新的 chart 版本，包括 alpha、beta 和预发布(pre-releases)。

在 apps/production/ 目录中，我们有一个带有生产特定值的 Kustomize 补丁：

  1. apiVersion: helm.toolkit.fluxcd.io/v2beta1 
  2. kind: HelmRelease 
  3. metadata: 
  4.   name: podinfo 
  5.   namespace: podinfo 
  6. spec: 
  7.   chart: 
  8.     spec: 
  9.       version: ">=1.0.0" 
  10.   values: 
  11.     ingress: 
  12.       hosts: 
  13.         - podinfo.production 

请注意，使用 version: “>=1.0.0” 我们配置 Flux 以自动将 HelmRelease 升级到 最新的稳定 chart 版本(alpha、beta 和 pre-releases 将被忽略)。

基础设施：

  1. ./infrastructure/ 
  2. ├── nginx 
  3. │   ├── kustomization.yaml 
  4. │   ├── namespace.yaml 
  5. │   └── release.yaml 
  6. ├── redis 
  7. │   ├── kustomization.yaml 
  8. │   ├── namespace.yaml 
  9. │   └── release.yaml 
  10. └── sources 
  11.     ├── bitnami.yaml 
  12.     ├── kustomization.yaml 
  13.     └── podinfo.yaml 

在 infrastructure/sources/ 目录中，我们有 Helm 存储库定义：

  1. apiVersion: source.toolkit.fluxcd.io/v1beta1 
  2. kind: HelmRepository 
  3. metadata: 
  4.   name: podinfo 
  5. spec: 
  6.   interval: 5m 
  7.   url: https://stefanprodan.github.io/podinfo 
  8. --- 
  9. apiVersion: source.toolkit.fluxcd.io/v1beta1 
  10. kind: HelmRepository 
  11. metadata: 
  12.   name: bitnami 
  13. spec: 
  14.   interval: 30m 
  15.   url: https://charts.bitnami.com/bitnami 

请注意，使用 interval: 5m 我们将 Flux 配置为每五分钟拉一次 Helm 存储库索引。如果索引包含与 HelmRelease semver 范围匹配的新 chart 版本，Flux 将升级该版本。

Bootstrap staging 和 production

集群目录包含 Flux 配置：

  1. ./clusters/ 
  2. ├── production 
  3. │   ├── apps.yaml 
  4. │   └── infrastructure.yaml 
  5. └── staging 
  6.     ├── apps.yaml 
  7.     └── infrastructure.yaml 

在 clusters/staging/ 目录中，我们有 Kustomization 定义：

  1. apiVersion: kustomize.toolkit.fluxcd.io/v1beta1 
  2. kind: Kustomization 
  3. metadata: 
  4.   name: apps 
  5.   namespace: flux-system 
  6. spec: 
  7.   interval: 10m0s 
  8.   dependsOn: 
  9.     - name: infrastructure 
  10.   sourceRef: 
  11.     kind: GitRepository 
  12.     name: flux-sytem 
  13.   path: ./apps/staging 
  14.   prune: true 
  15.   validation: client 
  16. --- 
  17. apiVersion: kustomize.toolkit.fluxcd.io/v1beta1 
  18. kind: Kustomization 
  19. metadata: 
  20.   name: infrastructure 
  21.   namespace: flux-system 
  22. spec: 
  23.   interval: 10m0s 
  24.   sourceRef: 
  25.     kind: GitRepository 
  26.     name: flux-system 
  27.   path: ./infrastructure 

请注意，使用 path: ./apps/staging 我们配置 Flux 以同步暂存 Kustomize 覆盖，并使用 dependsOn 我们告诉 Flux 在部署应用程序之前创建基础设施项。

在您的个人 GitHub 帐户上 Fork 此存储库并导出您的 GitHub access token、用户名和存储库名称：

  1. export GITHUB_TOKEN=<your-token> 
  2. export GITHUB_USER=<your-username> 
  3. export GITHUB_REPO=<repository-name> 

验证您的临时集群是否满足先决条件：

  1. flux check --pre 

将 kubectl context 设置为您的 staging 集群和 bootstrap Flux：

  1. flux bootstrap github \ 
  2.     --context=staging \ 
  3.     --owner=${GITHUB_USER} \ 
  4.     --repository=${GITHUB_REPO} \ 
  5.     --branch=main \ 
  6.     --personal \ 
  7.     --path=clusters/staging 

bootstrap 命令在 clusters/staging/flux-system 目录中提交 Flux 组件的清单，并在 GitHub 上创建一个具有只读访问权限的部署密钥，因此它可以在集群内拉取更改(pull changes)。

注意在 staging 上安装的 Helm releases：

  1. $ watch flux get helmreleases --all-namespaces  
  2. NAMESPACE   NAME    REVISION    SUSPENDED   READY   MESSAGE                           
  3. nginx       nginx   5.6.14      False       True    release reconciliation succeeded     
  4. podinfo     podinfo 5.0.3       False       True    release reconciliation succeeded     
  5. redis       redis   11.3.4      False       True    release reconciliation succeeded 

验证 demo app 是否可以通过 ingress 访问：

  1. $ kubectl -n nginx port-forward svc/nginx-ingress-controller 8080:80 & 
  2.  
  3. $ curl -H "Host: podinfo.staging" http://localhost:8080 
  4. { 
  5.   "hostname": "podinfo-59489db7b5-lmwpn", 
  6.   "version": "5.0.3" 
  7. } 

通过设置生产集群的上下文和路径来引导生产上的 Flux：

  1. flux bootstrap github \ 
  2.     --context=production \ 
  3.     --owner=${GITHUB_USER} \ 
  4.     --repository=${GITHUB_REPO} \ 
  5.     --branch=main \ 
  6.     --personal \ 
  7.     --path=clusters/production 

监控 production reconciliation:

  1. $ watch flux get kustomizations 
  2. NAME            REVISION                                        READY 
  3. apps            main/797cd90cc8e81feb30cfe471a5186b86daf2758d   True 
  4. flux-system     main/797cd90cc8e81feb30cfe471a5186b86daf2758d   True 
  5. infrastructure  main/797cd90cc8e81feb30cfe471a5186b86daf2758d   True 

加密 Kubernetes secrets

为了将 secrets 安全地存储在 Git 存储库中， 您可以使用 Mozilla 的 SOPS CLI 通过 OpenPGP 或 KMS 加密 Kubernetes secrets。

安装 gnupg 和 sops:

  1. brew install gnupg sops 

为 Flux 生成一个不指定密码短语(passphrase)的 GPG key，并获取GPG key ID：

  1. $ gpg --full-generate-key 
  2. Email address: [email protected] 
  3.  
  4. $ gpg --list-secret-keys [email protected] 
  5. sec   rsa3072 2020-09-06 [SC] 
  6.       1F3D1CED2F865F5E59CA564553241F147E7C5FA4 

使用 private key 在集群上创建 Kubernetes secret：

  1. gpg --export-secret-keys \ 
  2. --armor 1F3D1CED2F865F5E59CA564553241F147E7C5FA4 | 
  3. kubectl create secret generic sops-gpg \ 
  4. --namespace=flux-system \ 
  5. --from-file=sops.asc=/dev/stdin 

生成 Kubernetes secret manifest 并使用 sops 加密 secret 的数据字段：

  1. kubectl -n redis create secret generic redis-auth \ 
  2. --from-literal=password=change-me \ 
  3. --dry-run=client \ 
  4. -o yaml > infrastructure/redis/redis-auth.yaml 
  5.  
  6. sops --encrypt \ 
  7. --pgp=1F3D1CED2F865F5E59CA564553241F147E7C5FA4 \ 
  8. --encrypted-regex '^(data|stringData)$' \ 
  9. --in-place infrastructure/redis/redis-auth.yaml 

添加 secret 到 infrastructure/redis/kustomization.yaml:

  1. apiVersion: kustomize.config.k8s.io/v1beta1 
  2. kind: Kustomization 
  3. namespace: redis 
  4. resources: 
  5.   - namespace.yaml 
  6.   - release.yaml 
  7.   - redis-auth.yaml 

通过编辑 infrastructure.yaml 文件在集群上启用解密：

  1. apiVersion: kustomize.toolkit.fluxcd.io/v1beta1 
  2. kind: Kustomization 
  3. metadata: 
  4.   name: infrastructure 
  5.   namespace: flux-system 
  6. spec: 
  7.   # content omitted for brevity 
  8.   decryption: 
  9.     provider: sops 
  10.     secretRef: 
  11.       name: sops-gpg 

导出公钥(public key)，以便任何有权访问存储库的人都可以加密 secrets 但不能解密它们：

  1. gpg --export -a [email protected] > public.key 

将更改推送到主分支：

  1. git add -A && git commit -m "add encrypted secret" && git push 

验证是否已在两个集群的 redis 命名空间中创建了 secret：

  1. kubectl --context staging -n redis get secrets 
  2. kubectl --context production -n redis get secrets 

您可以使用 Kubernetes secrets 为您的 Helm releases 提供值：

  1. apiVersion: helm.toolkit.fluxcd.io/v2beta1 
  2. kind: HelmRelease 
  3. metadata: 
  4.   name: redis 
  5. spec: 
  6.   # content omitted for brevity 
  7.   values: 
  8.     usePassword: true 
  9.   valuesFrom: 
  10.   - kind: Secret 
  11.     name: redis-auth 
  12.     valuesKey: password 
  13.     targetPath: password 

在 docs 中了解有关 Helm releases values 覆盖的更多信息。

添加集群

如果要将集群添加到你的 fleet 中，请先在本地克隆存储库：

  1. git clone https://github.com/${GITHUB_USER}/${GITHUB_REPO}.git 
  2. cd ${GITHUB_REPO} 

使用您的集群名称在 clusters 中创建一个目录：

  1. mkdir -p clusters/dev 

从 staging 复制同步清单：

  1. cp clusters/staging/infrastructure.yaml clusters/dev 
  2. cp clusters/staging/apps.yaml clusters/dev 

您可以在 apps 内创建一个 dev overlay，确保将 clusters/dev/apps.yaml 内的 spec.path 更改为 path: ./apps/dev。

将更改推送到主分支：

  1. git add -A && git commit -m "add dev cluster" && git push 

将 kubectl 上下文和路径设置为您的 dev cluster 并引导 Flux：

  1. flux bootstrap github \ 
  2.     --context=dev \ 
  3.     --owner=${GITHUB_USER} \ 
  4.     --repository=${GITHUB_REPO} \ 
  5.     --branch=main \ 
  6.     --personal \ 
  7.     --path=clusters/dev 

相同的环境

如果你想启动一个相同的环境，你可以引导一个集群，例如 production-clone 并重用 production 定义。

引导 production-clone 集群：

  1. flux bootstrap github \ 
  2.     --context=production-clone \ 
  3.     --owner=${GITHUB_USER} \ 
  4.     --repository=${GITHUB_REPO} \ 
  5.     --branch=main \ 
  6.     --personal \ 
  7.     --path=clusters/production-clone 

在本地拉取更改：

  1. git pull origin main 

在 clusters/production-clone 目录中创建一个 kustomization.yaml：

  1. apiVersion: kustomize.config.k8s.io/v1beta1 
  2. kind: Kustomization 
  3. resources: 
  4.   - flux-system 
  5.   - ../production/infrastructure.yaml 
  6.   - ../production/apps.yaml 

请注意，除了 flux-system kustomize overlay，我们还包括来自 production 目录的 infrastructure 和 apps 清单。

将更改推送到主分支：

  1. git add -A && git commit -m "add production clone" && git push 

告诉 Flux 在 production-clone 集群上部署生产工作负载(production workloads)：

  1. flux reconcile kustomization flux-system \ 
  2.     --context=production-clone \ 
  3.     --with-source 

 

文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/269540.html<

赞 (0)
运维的头像运维
00
上一篇2025-05-07 09:48
下一篇 2025-05-07 09:49

相关推荐

  • 如何制作个人主题技术资讯

    个人主题怎么制作？

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程，无论是用于个人博客、作品集、社交媒体账号还是品牌形象，核心都是围绕“个人特色”展开，以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程，明确主题定位：找到个人特色的核心主题定位是所有工作的起点，需要先回答……

    运维的头像运维
    2025-11-20
    0
  • 如何管理社群营销技术资讯

    社群营销管理关键是什么？

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群，实现用户留存、转化和品牌传播，其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明：明确社群定位与目标社群管理的首要任务是精准定位，需明确社群的核心价值（如行业交流、产品使用指导、兴趣分享等）、目标用户画像……

    运维的头像运维
    2025-11-20
    0
  • 香港公司如何网站备案技术资讯

    香港公司网站备案需要什么材料？

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程，尤其需兼顾中国内地与香港两地的监管要求，由于香港公司注册地与中国内地不同，其网站若主要服务内地用户或使用内地服务器，需根据服务器位置、网站内容性质等，选择对应的备案路径（如工信部ICP备案或公安备案），以下从备案主体资格、流程步骤、材料准备、注意事项……

    运维的头像运维
    2025-11-20
    0
  • 如何企业上云推广技术资讯

    如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求，构建系统性、多维度的推广体系，以下从市场定位、策略设计、执行落地及效果优化四个维度，详细拆解企业上云推广的实践路径，精准定位：明确目标企业与核心价值企业上云并非“一刀切”的方案，需先锁定目标客户群体，提炼差异化价值主张，客户分层……

    运维的头像运维
    2025-11-20
    0
  • PS如何设计搜索框技术资讯

    PS设计搜索框的实用技巧有哪些？

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量，以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明，帮助打造符合需求的搜索框，设计前的规划明确使用场景：根据网站或APP的整体风格确定搜索框的调性，例如极简风适合细线条和纯色，科技感适合渐变和发光效果，电商类则可能需要突出搜索……

    运维的头像运维
    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注