【信创-k8s】麒麟V11使用containerd2.1.5全离线安装k8s1.32.11+KubeSphere

本文以麒麟V11，使用k8s 1.32.11+ks4.1.3core离线部署1master2node节点。

1 说明

关于kt

kt是基于kk二次开发产物，具备kk的所有功能，二开重点适配了信创国产化环境。

主要改进包括：简化arm架构部署过程、支持国产化和国际环境在线、离线部署及一条命令所有节点初始化。

支持arm64和amd64架构操作系统，已适配芯片+操作系统如下：

CPU： 鲲鹏、飞腾、海光、兆芯、intel、amd 等。
OS： Centos、Ubuntu、Debian、银河麒麟V10、麒麟国防版、麒麟信安、中标麒麟V7、统信UOS、华为欧拉、移动大云、阿里龙蜥、TencentOS等。

注：本文使用kt版本3.1.13

kt文档： kt文档

2.环境准备

服务器基本信息

主机名	架构	OS	配置	IP
harbor	x86_64	Ubuntu	2核4G	192.168.85.201
master	x86_64	麒麟V11	2核4G	192.168.85.163
node1	x86_64	麒麟V11	2核4G	192.168.85.155
node2	x86_64	麒麟V11	2核4G	192.168.85.162

2.1 上传离线制品

操作系统不需要安装docker,不需要设置selinux,swap等操作，全新的操作系统即可。

将离线制品、配置文件、kt和sh脚本上传至服务器其中一个节点(本文以master为例)，后续在该节点操作创建集群。

2.2 修改配置文件

根据实际服务器信息，配置到生成的config-sample.yaml中

kind: Cluster
metadata:
  name: sample
spec:
  hosts:
  - {name: harbor, address: 192.168.85.201, internalAddress: 192.168.85.201, user: root, password: "123213"}
  - {name: master, address: 192.168.85.163, internalAddress: 192.168.85.163, user: root, password: "123213"}
  - {name: node1, address: 192.168.85.155, internalAddress: 192.168.85.155, user: root, password: "123213"}
  - {name: node2, address: 192.168.85.162, internalAddress: 192.168.85.162, user: root, password: "123213"}
  roleGroups:
    etcd:
    - master
    control-plane:
    - master
    worker:
    - node1
    - node2
    # 由于部署 harbor 依赖 docker，建议单独节点部署 harbor
    registry:
    - harbor
  controlPlaneEndpoint:
    ## Internal loadbalancer for apiservers 
    internalLoadbalancer: haproxy

    domain: lb.kubesphere.local
    address: ""
    port: 6443
  kubernetes:
    version: v1.32.11
    clusterName: cluster.local
    autoRenewCerts: true
    containerManager: containerd
  etcd:
    type: kubekey
  network:
    plugin: calico
    kubePodsCIDR: 10.233.64.0/18
    kubeServiceCIDR: 10.233.0.0/18
    ## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
    multusCNI:
      enabled: false
  registry:
    type: harbor
    registryMirrors: []
    insecureRegistries: []
    privateRegistry: "dockerhub.kubekey.local"
    namespaceOverride: "kubesphereio"
    auths: # if docker add by `docker login`, if containerd append to `/etc/containerd/config.toml`
      "dockerhub.kubekey.local":
        username: "admin"
        password: Harbor@123 # 此处可自定义，kk3.1.8新特性
        skipTLSVerify: true # Allow contacting registries over HTTPS with failed TLS verification.
        plainHTTP: false # Allow contacting registries over HTTP.
        certsPath: "/etc/docker/certs.d/dockerhub.kubekey.local"
  addons: []

2.3 系统初始化

解压kt-x86.tar.gz文件后执行./kt init-os -f config-sample.yaml 已适配操作系统和架构见1.说明

该命令kt会根据配置文件自动判断操作系统和架构以完成所有节点的初始化配置和依赖安装。

3 创建 Harbor私有仓库

3.1 创建镜像仓库

./kt init registry -f config-sample.yaml -a artifact-x86-k8s13211-ks413core.tar.gz

此命令会在harbor节点自动安装docker和docker-compose

稍等一会，看到成功消息

此时去harbor服务器，查看服务状态，可以看到所有服务已正常启动。

3.2 创建harbor项目

说明：

Harbor 管理员账号：admin，密码：Harbor@123。密码同步使用配置文件中的对应password

harbor 安装文件在 /opt/harbor 目录下，可在该目录下对 harbor 进行运维。

创建 Harbor 项目

chmod +x create_project_harbor.sh && ./create_project_harbor.sh

4 创建k8s

./kt create cluster -f config-sample.yaml -a artifact-x86-k8s13211-ks413core.tar.gz --with-local-storage

此命令kt会自动将离线制品中的镜像推送到harbor 私有仓库

执行后会有如下提示,输入yes/y继续执行

继续等待一段时间最终可以看到安装成功的消息

验证

5 安装 KubeSphere

helm upgrade --install -n kubesphere-system --create-namespace ks-core ks-core-1.1.5.tgz \
     --set global.imageRegistry=dockerhub.kubekey.local/ks \
     --set extension.imageRegistry=dockerhub.kubekey.local/ks \
     --set ksExtensionRepository.image.tag=v1.1.5 \
     --debug \
     --wait

等待大概1分钟左右看到成功消息