小知识：flux2+kustomize+helm+github 多集群 GitOps 云原生渐进式交付

对于此示例，我们假设有两个集群的场景：暂存(staging)和生产(production)。最终目标是利用 Flux 和 Kustomize 来管理两个集群，同时最大限度地减少重复声明。

我们将配置 Flux 以使用 HelmRepository 和 HelmRelease 自定义资源安装、测试和升级演示应用程序。 Flux 将监控 Helm 存储库，并根据 semver 范围自动将 Helm 版本升级到最新的 chart 版本。

准备工作

flux2-kustomize–helm-example

https://github.com/fluxcd/flux2-kustomize-helm-example

您将需要 Kubernetes 集群版本 1.16 或更新版本以及 kubectl 版本 1.18 或更新。对于快速的本地测试，您可以使用 Kubernetes kind。不过，任何其他 Kubernetes 设置也可以正常工作。

为了遵循本指南，您需要一个 GitHub 帐户和一个可以创建存储库的 personal access token(检查 repo 下的所有权限)。

使用 Homebrew 在 MacOS 和 Linux 上安装 Flux CLI：

brew install fluxcd/tap/flux 

或者通过使用 Bash 脚本下载预编译的二进制文件来安装 CLI：

curl -s https://fluxcd.io/install.sh | sudo bash 

项目结构

Git 存储库包含以下顶级目录：

apps 目录包含每个集群具有自定义配置的 Helm 版本 infrastructure 目录包含常见的基础设施工具，例如 NGINX ingress controller 和 Helm 存储库定义 clusters 目录包含每个集群的 Flux 配置 ├── apps  │   ├── base  │   ├── production   │   └── staging  ├── infrastructure  │   ├── nginx  │   ├── redis  │   └── sources  └── clusters      ├── production      └── staging 

apps 配置结构为：

apps/base/ 目录包含命名空间和 Helm 发布定义(release definitions) apps/production/ 目录包含生产 Helm 发布值(release values) apps/staging/ 目录包含 staging values ./apps/  ├── base  │   └── podinfo  │       ├── kustomization.yaml  │       ├── namespace.yaml  │       └── release.yaml  ├── production  │   ├── kustomization.yaml  │   └── podinfo-patch.yaml  └── staging      ├── kustomization.yaml      └── podinfo-patch.yaml 

在 apps/base/podinfo/ 目录中，我们有一个 HelmRelease，两个集群都有共同的值：

apiVersion: helm.toolkit.fluxcd.io/v2beta1  kind: HelmRelease  metadata:    name: podinfo    namespace: podinfo  spec:    releaseName: podinfo    chart:      spec:        chart: podinfo        sourceRef:          kind: HelmRepository          name: podinfo          namespace: flux-system    interval: 5m    values:      cache: redis-master.redis:6379      ingress:        enabled: true       annotations:          kubernetes.io/ingress.class: nginx        path: “/*”

在 apps/staging/ 目录中，我们有一个带有 staging 特定值的 Kustomize 补丁(patch)：

apiVersion: helm.toolkit.fluxcd.io/v2beta1  kind: HelmRelease  metadata:    name: podinfo  spec:    chart:      spec:        version: “>=1.0.0-alpha”   test:      enable: true   values:      ingress:        hosts:          – podinfo.staging 

请注意，使用 version: “>=1.0.0-alpha” 我们配置 Flux 以自动将 HelmRelease 升级到最新的 chart 版本，包括 alpha、beta 和预发布(pre-releases)。

在 apps/production/ 目录中，我们有一个带有生产特定值的 Kustomize 补丁：

apiVersion: helm.toolkit.fluxcd.io/v2beta1  kind: HelmRelease  metadata:    name: podinfo    namespace: podinfo  spec:    chart:      spec:        version: “>=1.0.0”   values:      ingress:        hosts:          – podinfo.production 

请注意，使用 version: “>=1.0.0” 我们配置 Flux 以自动将 HelmRelease 升级到 最新的稳定 chart 版本(alpha、beta 和 pre-releases 将被忽略)。

基础设施：

./infrastructure/  ├── nginx  │   ├── kustomization.yaml  │   ├── namespace.yaml  │   └── release.yaml  ├── redis  │   ├── kustomization.yaml  │   ├── namespace.yaml  │   └── release.yaml  └── sources      ├── bitnami.yaml      ├── kustomization.yaml      └── podinfo.yaml 

在 infrastructure/sources/ 目录中，我们有 Helm 存储库定义：

apiVersion: source.toolkit.fluxcd.io/v1beta1  kind: HelmRepository  metadata:    name: podinfo  spec:    interval: 5m    url: https://stefanprodan.github.io/podinfo  — apiVersion: source.toolkit.fluxcd.io/v1beta1  kind: HelmRepository  metadata:    name: bitnami  spec:    interval: 30m    url: https://charts.bitnami.com/bitnami 

请注意，使用 interval: 5m 我们将 Flux 配置为每五分钟拉一次 Helm 存储库索引。如果索引包含与 HelmRelease semver 范围匹配的新 chart 版本，Flux 将升级该版本。

Bootstrap staging 和 production

集群目录包含 Flux 配置：

./clusters/  ├── production  │   ├── apps.yaml  │   └── infrastructure.yaml  └── staging      ├── apps.yaml      └── infrastructure.yaml 

在 clusters/staging/ 目录中，我们有 Kustomization 定义：

apiVersion: kustomize.toolkit.fluxcd.io/v1beta1  kind: Kustomization  metadata:    name: apps    namespace: flux-system  spec:    interval: 10m0s    dependsOn:      – name: infrastructure    sourceRef:      kind: GitRepository      name: flux-sytem    path: ./apps/staging    prune: true   validation: client  — apiVersion: kustomize.toolkit.fluxcd.io/v1beta1  kind: Kustomization  metadata:    name: infrastructure    namespace: flux-system  spec:    interval: 10m0s    sourceRef:      kind: GitRepository      name: flux-system    path: ./infrastructure 

请注意，使用 path: ./apps/staging 我们配置 Flux 以同步暂存 Kustomize 覆盖，并使用 dependsOn 我们告诉 Flux 在部署应用程序之前创建基础设施项。

在您的个人 GitHub 帐户上 Fork 此存储库并导出您的 GitHub access token、用户名和存储库名称：

export GITHUB_TOKEN=<your-token>  export GITHUB_USER=<your-username>  export GITHUB_REPO=<repository-name> 

验证您的临时集群是否满足先决条件：

flux check–pre

将 kubectl context 设置为您的 staging 集群和 bootstrap Flux：

flux bootstrap github \      –context=staging \     –owner=${GITHUB_USER} \     –repository=${GITHUB_REPO} \     –branch=main \     –personal \     –path=clusters/staging

bootstrap 命令在 clusters/staging/flux-system 目录中提交 Flux 组件的清单，并在 GitHub 上创建一个具有只读访问权限的部署密钥，因此它可以在集群内拉取更改(pull changes)。

注意在 staging 上安装的 Helm releases：

$ watch flux get helmreleases –all-namespaces  NAMESPACE   NAME    REVISION    SUSPENDED   READY   MESSAGE                            nginx       nginx   5.6.14      FalseTrue    release reconciliation succeeded      podinfo     podinfo 5.0.3       FalseTrue    release reconciliation succeeded      redis       redis   11.3.4      FalseTrue    release reconciliation succeeded 

验证 demo app 是否可以通过 ingress 访问：

$ kubectl -n nginx port-forward svc/nginx-ingress-controller 8080:80 &  $ curl -H “Host: podinfo.staging” http://localhost:8080  {    “hostname”: “podinfo-59489db7b5-lmwpn”,    “version”: “5.0.3” } 

通过设置生产集群的上下文和路径来引导生产上的 Flux：

flux bootstrap github \      –context=production \     –owner=${GITHUB_USER} \     –repository=${GITHUB_REPO} \     –branch=main \     –personal \     –path=clusters/production

监控 production reconciliation:

$ watch flux get kustomizations  NAME            REVISION                                        READY  apps            main/797cd90cc8e81feb30cfe471a5186b86daf2758d   True flux-system     main/797cd90cc8e81feb30cfe471a5186b86daf2758d   True infrastructure  main/797cd90cc8e81feb30cfe471a5186b86daf2758d   True

加密 Kubernetes secrets

为了将 secrets 安全地存储在 Git 存储库中， 您可以使用 Mozilla 的 SOPS CLI 通过 OpenPGP 或 KMS 加密 Kubernetes secrets。

安装 gnupg 和 sops:

brew install gnupg sops 

为 Flux 生成一个不指定密码短语(passphrase)的 GPG key，并获取GPG key ID：

$ gpg –full-generate-key Email address: fluxcdbot@users.noreply.github.com  $ gpg –list-secret-keys fluxcdbot@users.noreply.github.com sec   rsa3072 2020-09-06 [SC]        1F3D1CED2F865F5E59CA564553241F147E7C5FA4 

使用 private key 在集群上创建 Kubernetes secret：

gpg –export-secret-keys \ –armor 1F3D1CED2F865F5E59CA564553241F147E7C5FA4 | kubectl create secret generic sops-gpg \  –namespace=flux-system \ –from-file=sops.asc=/dev/stdin

生成 Kubernetes secret manifest 并使用 sops 加密 secret 的数据字段：

kubectl -n redis create secret generic redis-auth \  –from-literal=password=change-me \ –dry-run=client \ -o yaml > infrastructure/redis/redis-auth.yaml  sops –encrypt \ –pgp=1F3D1CED2F865F5E59CA564553241F147E7C5FA4 \ –encrypted-regex ^(data|stringData)$ \ –in-place infrastructure/redis/redis-auth.yaml

添加 secret 到 infrastructure/redis/kustomization.yaml:

apiVersion: kustomize.config.k8s.io/v1beta1  kind: Kustomization  namespace: redis  resources:    – namespace.yaml    – release.yaml    – redis-auth.yaml 

通过编辑 infrastructure.yaml 文件在集群上启用解密：

apiVersion: kustomize.toolkit.fluxcd.io/v1beta1  kind: Kustomization  metadata:    name: infrastructure    namespace: flux-system  spec:    # content omitted for brevity    decryption:      provider: sops      secretRef:        name: sops-gpg 

导出公钥(public key)，以便任何有权访问存储库的人都可以加密 secrets 但不能解密它们：

gpg –export -a fluxcdbot@users.noreply.github.com > public.key

将更改推送到主分支：

git add -A && git commit -m “add encrypted secret” && git push 

验证是否已在两个集群的 redis 命名空间中创建了 secret：

kubectl –context staging -n redis get secrets kubectl –context production -n redis get secrets

您可以使用 Kubernetes secrets 为您的 Helm releases 提供值：

apiVersion: helm.toolkit.fluxcd.io/v2beta1  kind: HelmRelease  metadata:    name: redis  spec:    # content omitted for brevity    values:      usePassword: true   valuesFrom:    – kind: Secret      name: redis-auth      valuesKey: password     targetPath: password

在 docs 中了解有关 Helm releases values 覆盖的更多信息。

添加集群

如果要将集群添加到你的 fleet 中，请先在本地克隆存储库：

git clone https://github.com/${GITHUB_USER}/${GITHUB_REPO}.git  cd ${GITHUB_REPO} 

使用您的集群名称在 clusters 中创建一个目录：

mkdir -p clusters/dev 

从 staging 复制同步清单：

cp clusters/staging/infrastructure.yaml clusters/dev  cp clusters/staging/apps.yaml clusters/dev 

您可以在 apps 内创建一个 dev overlay，确保将 clusters/dev/apps.yaml 内的 spec.path 更改为 path: ./apps/dev。

将更改推送到主分支：

git add -A && git commit -m “add dev cluster” && git push 

将 kubectl 上下文和路径设置为您的 dev cluster 并引导 Flux：

flux bootstrap github \      –context=dev \     –owner=${GITHUB_USER} \     –repository=${GITHUB_REPO} \     –branch=main \     –personal \     –path=clusters/dev

相同的环境

如果你想启动一个相同的环境，你可以引导一个集群，例如 production-clone 并重用 production 定义。

引导 production-clone 集群：

flux bootstrap github \      –context=production-clone \     –owner=${GITHUB_USER} \     –repository=${GITHUB_REPO} \     –branch=main \     –personal \     –path=clusters/production-clone

在本地拉取更改：

git pull origin main 

在 clusters/production-clone 目录中创建一个 kustomization.yaml：

apiVersion: kustomize.config.k8s.io/v1beta1  kind: Kustomization  resources:    – flux-system    – ../production/infrastructure.yaml    – ../production/apps.yaml 

请注意，除了 flux-system kustomize overlay，我们还包括来自 production 目录的 infrastructure 和 apps 清单。

将更改推送到主分支：

git add -A && git commit -m “add production clone” && git push 

告诉 Flux 在 production-clone 集群上部署生产工作负载(production workloads)：

flux reconcile kustomization flux-system \      –context=production-clone \     –with-source

原文链接：https://mp.weixin.qq.com/s/IMXxaUesurmKKMU6le33-w