Deploy Helm private charts repository on the Kubernetes

Helm是一个管理Kubernetes上charts的工具，通过Helm你可以比较方便的部署、卸载组件等操作。

在大多数时候，我们都可以直接使用官方的charts仓库来安装我们想要的组件，但是我们有时候会在内网的情况下使用Helm，这个时候我们可能需要一个自己私有的charts仓库。该文档将介绍如何搭建一个私有的charts仓库。

我们使用minio作为charts仓库的后端存储，结合chartmuseum来提供charts仓库的服务，以方便我们操作charts仓库。

术语

minio: minio是一个类似Amazon S3的分布式存储服务，该服务提供API、SDK、Client来让我们操作。
chartmuseum: chartmuseum是一个Web服务，该服务提供API来让我们比较轻松的操作charts仓库，而且该服务还可以满足多租户场景。

组件

部署完成后，全部的组件。

$ kubectl get pod -n kube-system  -l "name=tiller"
NAME                           READY     STATUS    RESTARTS   AGE
tiller-deploy-<xxx>            1/1       Running   0          5h

$ kubectl get pod -n kube-system -l "app=chartmuseum"
NAME                                      READY     STATUS    RESTARTS   AGE
<release-name>-chartmuseum-<xxx>          1/1       Running   0          47m

$ kubectl get pod -n storage
NAME                                       READY     STATUS    RESTARTS   AGE
minio-client-deployment-<xxx>              1/1       Running   0          7h
minio-deployment-<xxx>                     1/1       Running   0          9h

部署

部署私有charts仓库，初始化helm init，部署tiller服务，部署好minio服务，部署chartmuseum，通过helm install安装上述两个组件，启动服务。等待服务启动成功，使用helm添加新的charts仓库即可使用。

初始化helm

对于charts仓库的初始化，需要使用到helm命令行工具，因此需要先安装该工具到本机。

关于helm工具的安装，这里不进行描述，可以参考官方文档Installing the Helm Client。

使用helm --help来确认该工具是否安装成功。

初始化helm，会安装Tiller，该组件是helm的服务端组件，安装方式比较简单。

具体的安装可以参考Securing Helm installation。

因为我们在内网环境中，无法连接https://kubernetes-charts.storage.googleapis.com, 因此在初始化的时候，需要跳过更新本地仓库缓存的步骤，即:

helm init --service-account tiller --skip-refresh

初始化helm成功后，可以通过helm repo list看到我们有两个仓库，分别是stable和local。

$  helm repo list
NAME            URL
stable          https://kubernetes-charts.storage.googleapis.com
local           http://127.0.0.1:8879/charts

到这里，我们就完成了helm的初始化。

部署minio服务

当前我们部署单节点minio服务，使用本地存储。关于minio分布式部署方式详见官方文档。

关于单节点minio服务的部署，可以根据deploy minio on the Kubernetes来操作。

这里我们使用Use helm install minio来部署单节点minio。

查看minio服务是否正常启动。

$ kubectl get pod -n storage
NAME                                       READY     STATUS    RESTARTS   AGE
minio-client-deployment-<xxx>              1/1       Running   0          7h
minio-deployment-<xxx>                     1/1       Running   0          9h

等待minio服务启动成功后，通过浏览器访问http://<节点IP>:30002，如果访问成功说明服务正常。同时我们也可以通过操作mc(minio的cli工具)来查看服务是否正常。

创建charts仓库

想要创建charts仓库，需要在minio上创建bucket，我们这里使用一个chartmuseum管理多个charts仓库的方式，因此需要创建多个bucket。

首先创建父级bucket，这里取名叫charts。

kubectl exec -it -n storage minio-client-deployment-<xxx> mc -- mb kminio/charts

创建完成bucket，通过mc ls命令查看创建好的bucket是否存在。

$ kubectl exec -it -n storage minio-client-deployment-<xxx> mc -- ls kminio
[2019-01-08 06:35:45 UTC]     0B charts/

因为采用多仓库的形式，因此需要在上面bucket中，再创建子bucket，取名叫kubernetes。使用下面命令进行子bucket的创建:

kubectl exec -it -n storage minio-client-deployment-<xxx> mc -- mb kminio/charts/kubernetes/

设置bucket的权限

kubectl exec -it -n storage minio-client-deployment-<xxx> mc -- policy download kminio/charts/kubernetes

设置成功后，通过以下命令查看该bucket是否修改成功:

$ kubectl exec -it -n storage minio-client-deployment-<xxx> mc -- policy list kminio/charts/kubernetes
charts/kubernetes* => readonly

安装chartmuseum

我们使用chartmuseum来管理多个charts仓库，使用该服务，不需要客户端直接连接minio，只需要通过API即可管理和操作charts仓库。

添加chartmuseum

首先需要下载官方的chart包到本地。

$ git clone https://github.com/helm/charts

拷贝charts/stable/chartmuseum到安装好helm的主机上。

安装chartmuseum

我们需要修改chartmuseum的一些启动和安装参数，具体的参数修改，可以参考下面:

image:
  repository: chartmuseum/chartmuseum
replicaCount: 1
resources:
  limits:
    memory: 200Mi

env:
  open:
    STORAGE: amazon
    STORAGE_AMAZON_BUCKET: "charts"
    STORAGE_AMAZON_ENDPOINT: "http://<minio-service>.storage.svc:9000"
    DEPTH: 1
    DEBUG: true
    DISABLE_API: false
  secret:
    AWS_ACCESS_KEY_ID: "..."
    AWS_SECRET_ACCESS_KEY: "..."

参数	说明
`image.repository`	如果我们有自己的chartmuseum可以修改为自己的镜像
`env.open.STORAGE`	因为我们使用minio作为后端存储服务，因此该值需要配置为`amazon`
`env.open.STORAGE_AMAZON_BUCKET`	我们采用chartmuseum管理多个仓库，该值填写为最上层bucket即可
`env.open.STORAGE_AMAZON_ENDPOINT`	如果使用上面所说的方式部署minio，因为chartmuseum和minio不在同一个namespace中，因此需要填写为minio服务地址
`env.open.DEPTH`	我们采用chartmuseum管理多个仓库，该值为`index.yaml`所在bucket和`STORAGE_AMAZON_BUCKET`的层级深度，该文档中为1
`env.secret.AWS_ACCESS_KEY_ID`	minio服务的access key
`env.secret.AWS_SECRET_ACCESS_KEY`	minio服务的secret key

如果想要自定义更多配置项，可以查看官方的说明ChartMuseum Helm Chart。

创建custom.yaml来配置自定义的参数，执行以下命令安装chartsumeum:

helm install -f custom.yaml ./chartmuseum --namespace kube-system

$ kubectl get pod -n kube-system -l "app=chartmuseum"
NAME                                      READY     STATUS    RESTARTS   AGE
<release-name>-chartmuseum-<xxx>          1/1       Running   0          47m

添加chartmuseum到本地repo

helm repo add chartk8s http://<CHARTMUSEUM-CLUSTER-IP>:8080/kubernetes

我们采用的是chartmuseum管理多个charts仓库的方式，因此这里添加的repo的url并不是minio的子bucket，而是去掉父级bucket后的地址。

通过helm repo可以看到该repo。

$ helm repo list
NAME            URL
local           http://127.0.0.1:8879/charts
chartk8s        http://<CHARTMUSEUM-CLUSTER-IP>:8080/kubernetes

到这里，整个charts私仓部署就完成了，如果我们需要提供给集群外面使用，可以开放chartmuseum的NodePort。后续会更新如何开放对外服务。

如何使用chartmuseum

我们可以使用API来操作chart仓库，具体的用法可以参考官方文档。

$ git clone https://github.com/chartmuseum/helm-push

拷贝helm-push到helm的主机，如果helm-push_${version}_linux_amd64.tar.gz包在自定义的文件服务器上，我们可以修改helm-push/scripts/install_plugin.sh中Linux平台的url包路径。

$ helm plugin install ./helm-push
Downloading and installing helm-push v0.7.1 ...
https://github.com/chartmuseum/helm-push/releases/download/v0.7.1/helm-push_0.7.1_darwin_amd64.tar.gz
Installed plugin: push

安装完成后，使用helm --help可以看到多了helm push的命令，通过该命令可以推送chart到chartmuseum管理的repo上。

$ helm push minio-2.3.1.tgz chartk8s
Pushing minio-2.3.1.tgz to chartk8s...
Done.

上传成功后，使用helm repo update更新，可以看到上传的minio的chart。

Deploy Helm private charts repository on the Kubernetes

术语

组件

部署

初始化helm

部署minio服务

创建charts仓库

安装chartmuseum

添加chartmuseum

安装chartmuseum

添加chartmuseum到本地repo

如何使用chartmuseum

Pytimer

在Windows上使用Kubectl连接集群

Kubernetes Dashboard Installation

Docker容器无法连接外部网络原因排查

Go开发规范

[FAQ] 修改configmap后，使用subPath的Pod异常

Mac安装使用Docker

Coredns简介

Change Etcd cluster member ip

预留计算资源

Interface