Kubernetes 使用 helm 部署 harbor

 

一、环境说明

本教程建立在已有的k8s集群以及安装了helm的前提下,如未搭建k8s集群,请先参考其他相关部署教程。

环境现状:

  • k8s版本为 v1.14.0,部署了helm,版本为v2.13.1;
  • k8s1和k8s2为两个高可用的master节点,同时也是node节点;
  • k8s3为单纯的node节点;
  • mars仅作为docker client使用,所以使用了一台很久以前的虚拟机,docker client 版本比较低,能用就行;
  • 所有机器的操作系统均为CentOS7.2。
  • harbor版本号为 v1.9.0
角色 IP 主机名 程序版本
k8s-master/k8s-node

10.2.1.86

vip:

10.2.1.254

k8s1 k8s v1.14.0   helm Client&Server v2.13.1
k8s-master/k8s-node

10.2.1.72

vip:

10.2.1.254

k8s2 k8s v1.14.0
k8s-node 10.2.1.20 k8s3 k8s v1.14.0
Docker client 10.2.1.67 mars docker client 1.10.3

 

 

  

 

 二、部署harbor

1、从github拉取harbor-helm

git clone https://github.com/goharbor/harbor-helm
cd harbor-helm

 

2、修改相关配置

  在harbor-helm文件夹里面,可以看到Chart.yml 及 values.yaml 等helm 部署相关的文件,vim 编辑一下value.yaml,根据实际情况修改配置

 ingress:
    hosts:
      core: harbor.mars.com          #修改ingress里面的域名
      notary: notary.mars.com
……
externalURL: https://harbor.mars.com   #修改访问的URL
……
#这部分可以看到,这里需要5个pvc,也就是说需要手动创建5个pv,官方默认为两个5G,3个1G,可根据需要修改size,这里由于是实验环境,所以不作改动
  persistentVolumeClaim:
    registry:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 5Gi
    chartmuseum:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 5Gi
    jobservice:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 1Gi
    database:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 1Gi
    redis:
      existingClaim: ""
      storageClass: ""
      subPath: ""
      accessMode: ReadWriteOnce
      size: 1Gi
……
harborAdminPassword: "Harbor12345"   #默认管理员密码为Harbor12345,可在这里进行修改

 

3、创建需要的5个pv

  为简化实验,本实验环境使用local-storage作为持久化存储,使用k8s3机器的 /data/disks 目录作为本地持久化存储。

  • 在k8s3上面创建五个文件夹
mkdir /data/disks/{disk1-5G,disk2-5G,disk3-1G,disk4-1G,disk5-1G}
  • 在master上面编写5个pv的yaml文件,并创建pv
mkdir pv
cd pv
cat <<EOF > disk1-5G.yml apiVersion: v1 kind: PersistentVolume metadata: name: disk1 spec: capacity: storage: 5Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Recycle local: path: "/data/disks/disk1-5G" nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - k8s3 EOF cat <<EOF > disk2-5G.yml apiVersion: v1 kind: PersistentVolume metadata: name: disk2.yml spec: capacity: storage: 5Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Recycle local: path: "/data/disks/disk2-5G" nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - k8s3 EOF cat <<EOF > disk3-1G.yml apiVersion: v1 kind: PersistentVolume metadata: name: disk3.yml spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Recycle local: path: "/data/disks/disk3-1G" nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - k8s3 EOF cat <<EOF > disk4-1G.yml apiVersion: v1 kind: PersistentVolume metadata: name: disk4.yml spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Recycle local: path: "/data/disks/disk4-1G" nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - k8s3 EOF cat <<EOF > disk5-1G.yml apiVersion: v1 kind: PersistentVolume metadata: name: disk5.yml spec: capacity: storage: 1Gi accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Recycle local: path: "/data/disks/disk5-1G" nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - k8s3 EOF

kubectl apply -f .
kubectl get pv

  可以看到5个pv已经准备就绪

 

4、使用helm部署harbor

cd /data/harbor-helm
helm dependency update
helm install . --debug -n harbor --namespace mars

参数说明:

  • --debug  部署过程中开启debug模式
  • -n  定义helm release的名字
  • --namespace 指定使用哪个namespace部署

部署完成后,可以通过相关命令查看部署情况

分别查看helm、pvc、deployment、pod、service、ingress 等是否正常(其中部分pod有可能会失败,但会自动重建,直到最后全部pod都会处理Running状态,个人猜测原因是启动这些deployment需要有一定的顺序,某些deployment需要在其他deployment启动的前提下才能正常启动)

 

 5、使用浏览器测试

  在 Docker Client 的 /etc/hosts 文件里面把 10.2.1.254 指定到域名 harbor.mars.com 的解释上,然后使用浏览器访问 https://harbor.mars.com,由于是实验环境,没有ssl配置证书,直接信任即可。注:此步骤需要使用图形界面,如果Docker Client 没有安装图形界面,请自行安装,或者用其他方法(如ssh隧道)

echo '10.2.1.254 harbor.mars.com' >> /etc/hosts

 

  使用 admin用户登录(默认密码在之前的value.yaml文件中定义),并创建一个项目mars。

 

 

三、使用harbor

 1、登录harbor

  harbor部署完毕了,项目也创建好了,现在尝试一下用命令行登录一下。

  发现报错了,看提示,是缺少了CA证书,解决方法有两个:

  (1)在Docker Client 的启动文件里面加入 --insecure-registry 参数,强制信任这个镜像仓库(生产环境不推荐,不安全)

  (2)在Docker Client 添加harbor的CA证书(推荐)

  下面分别说明一下两种方法。

  方法一:Docker client 启动文件加入--insecure-registry 参数(生产环境不推荐,不安全)

    这个版本的Docker的启动文件为 /usr/lib/systemd/system/docker.service ,其他版本可能不一样

    在ExecStart 加入 --insecure-registry "harbor.mars.com" ,意思为允许不安全地使用 harbor.mars.com 这个镜像仓库

    重启 docker 及 daemon

systemctl restart docker
systemctl daemon-reload

    再次尝试 login,登录成功

 

   方法二:在Docker Client 添加harbor的CA证书(推荐)

    在k8s的master上面通过以下命令获取CA证书

kubectl -n mars get secrets/harbor-harbor-ingress -o jsonpath="{.data.ca\.crt}" | base64 --decode

    在Docker Client 上添加证书(不需要重启docker)

mkdir /etc/docker/certs.d/harbor.mars.com
cat <<EOF > /etc/docker/certs.d/harbor.mars.com/ca.crt
-----BEGIN CERTIFICATE-----
MIIC9DCCAdygAwIBAgIQdq5L+F3WlnD1oRv7Ai1o1zANBgkqhkiG9w0BAQsFADAU
MRIwEAYDVQQDEwloYXJib3ItY2EwHhcNMTkwNzE4MDQxNzMwWhcNMjAwNzE3MDQx
NzMwWjAUMRIwEAYDVQQDEwloYXJib3ItY2EwggEiMA0GCSqGSIb3DQEBAQUAA4IB
DwAwggEKAoIBAQDVr8SzNtog69u+3kLa8xZYEpgKktV6w7A6d43XSnQOhF2PynT3
AnQ3Ah3NBcjGoYEp7k/JNoNHyvPMMMxqOs8bj/QNTIASN7XuqLZegJCF5E15dttR
ey1bZsINDX4eoa5WN/nYOGRnP6rNF8ijDPwFm/I0bT+V9xTiJgaEScPSmN9YRwkQ
Gm1279W5eXXaHXUeArAdsydC1+hRA0Xxz9mZWA9CGNJwJ3w+Zmvg82CxCcWmm4yf
feiex5N/8u63PynuVV3ZNoWTyDRZ6o7ljXat0MX0fBjmkC6UQbo6IuILSHZR5oPj
mtSMgfqMzT9o175Ew3DtC6KB39cs6op0IXdrAgMBAAGjQjBAMA4GA1UdDwEB/wQE
AwICpDAdBgNVHSUEFjAUBggrBgEFBQcDAQYIKwYBBQUHAwIwDwYDVR0TAQH/BAUw
AwEB/zANBgkqhkiG9w0BAQsFAAOCAQEAZPG5cYVFI8nYNQfZJ8yzkWD0jJMHlZ77
D65gUHnZSsJKQd+yXA674LHfNXCkPDexYZvMZtYjSg/wTwI0xVeW+K3zdfK9MBxM
PCpEJLtrTKj2ZYXKXqG9db7iybKbIgW+6eGELBn7asM7ka0jNWsYVOkKirVtfPzZ
sKUm9ujNfs5W1XeJL/8af/HDX7sYJoNRgDRzYRzmFScV5cq7KD1Vvn7+QjcDdHpJ
QNmJ9QC53LW34NJ+mfQFMXs84LNZ4M08V+Wpyd0p6c8RYRYS8QVxuXbShn3ltP40
Xu2/CRYCzvpOj3vQSn78bqDoXfX/8AX1eKr7iMAPNyrDrYVQU39QpQ==
-----END CERTIFICATE-----
EOF

    再次尝试 login,登录成功

 

2、上传本地镜像

  把本地的一个镜像 docker.io/redis:latest 上传到harbor,先给镜像打一个tag

docker tag docker.io/redis harbor.mars.com/mars/redis:v1

  上传镜像

docker push harbor.mars.com/mars/redis:v1

  上传成功

  在harbor页面上对应的项目里面,可以查看到相关的镜像

 

 

3、下载harbor镜像

  先删除本地镜像(其实只是去掉一个tag)

docker rmi harbor.mars.com/mars/redis:v1

  下载harbor上面的镜像

docker pull harbor.mars.com/mars/redis:v1

  下载成功

 

 

 

 

 

posted @ 2019-07-18 15:33  面壁者的逻辑  阅读(3790)  评论(0编辑  收藏  举报