k8s中部署发布应用

1.项目迁移到K8S平台是怎样的流程

 

制作镜像：

使用dockerfile制作docker 镜像

镜像分为

基础镜像：centos，ubuntu

服务镜像：openjdk，nginx，mysql

项目镜像：项目代码打包在服务镜像里，最终交付物

java或者go的应用需要编译，php的可以不用编译。

控制器管理pod

• Deployment：无状态部署，例如Web，微服务，API
• StatefulSet：有状态部署，例如数据库，ZK，ETCD
• DaemonSet：守护进程部署，例如监控Agent、日志Agent
• Job & CronJob：批处理，例如数据库备份，邮件通知

pod数据持久化：

容器部署过程中一般有以下三种数据：

• 启动时需要的初始数据，可以是配置文件
• 启动过程中产生的临时数据，该临时数据需要多个容器间共享
• 启动过程中产生的业务数据

暴露应用：

使用Service ClusterIP类型暴露集群内部应用访问。

• Service定义了Pod的逻辑集合和访问这个集合的策略
• Service引入为了解决Pod的动态变化，提供服务发现和负载均衡
• 使用CoreDNS解析Service名称

对外发布应用：

使用Ingress对外暴露你的应用。

• 通过Service关联Pod
• 基于域名访问
• 通过Ingress Controller实现Pod的负载均衡
• 支持TCP/UDP 4层和HTTP 7层（Nginx）

日志与监控

使用Prometheus监控集群中资源的状态

使用ELK来收集应用的日志

 

2.传统部署和k8s部署的区别

 

 

 

 

区别：

• 原先的应用包变成了存放在镜像仓库中的镜像
• 部署从原先ansible部署，变成k8s使用控制器部署，部署的节点直接是由物理机变成部署在pod内
• 暴露服务由原先的自建负载均衡nginx,haproxy等 变成通过k8s 的service，ingress来暴露服务

 

3.手工模拟k8s发布java应用

测试java-demo 📎java-demo.zip

unzip java-demo.zip    &&   cd java-demo

安装jdk

yum install -y java-1.8.0-openjdk

安装maven

yum install maven -y

编译代码

• db目录  ，数据库表的初始化sql
• pom.xml   项目依赖的jar包说明文件
• src     源代码目录

由于maven默认使用的国外的maven源 所以改成国内阿里云的源这样下载依赖包会很快

/etc/maven/settings.xml

在159行加入  

在<mirrors> </mirros>内

<mirror>
    <id>aliyunmaven</id>
    <mirrorOf>central</mirrorOf>
    <name>aliyun maven</name>
    <url>https://maven.aliyun.com/repository/public </url>
 </mirror>

构建war包

mvn clean package -Dmaven.test.skip

clean package 会删掉之前存在构建好的文件目录

maven.test.skip 表示忽略测试

 

编写Dockerfile

配置对私有仓库的可信任,并配置默认的镜像仓库为阿里云仓库

/etc/docker/daemon.json

{
    "registry-mirrors": ["https://yyk0qnca.mirror.aliyuncs.com"],
    "insecure-registries": ["192.168.31.70"]
}

 

Dockerfile

FROM 192.168.31.70/library/tomcat:v1
RUN rm -rf /usr/local/tomcat/webapps/*
COPY target/*.war /usr/local/tomcat/webapps/ROOT.war

1.从镜像仓库拉取旧版本的应用镜像，其中library仓库是个公共的仓库所以不需要登录

2.删除镜像中原本的war包

3.将本地构建好的war包复制到镜像的war包目录，并命名为ROOT.war

执行构建

docker build -t java-demo:v1 .

 

本地运行镜像

docker run -d java-demo:v1

验证应用是否发布成功

docker inspect -f='{{.NetworkSettings.IPAddress}}' f07c85826426  #获取容器的ip

 

 

创建一个 demo的私有仓库

推送镜像到私有仓库

 

docker login 192.168.31.70 --username=admin
docker tag 182f52a26eb0 192.168.31.70/demo/java-demo:v1
docker push 192.168.31.70/demo/java-demo:v1

创建私有仓库的认证secret

由于demo仓库设置的是私有类型所以pull镜像需要登录认证。

kubectl create secret docker-registry docker-regsitry-auth --docker-username=admin --docker-password=Harbor1
345 --docker-server=192.168.31.70

使用deployment发布应用

apiVersion: apps/v1
kind: Deployment
metadata:
  name: java-demo
spec:
  replicas: 3
  selector:
    matchLabels:
      project: www
      app: java-demo
  template:
    metadata:
      labels:
        project: www
        app: java-demo
    spec:
      imagePullSecrets: 
      - name: "docker-regsitry-auth"
      containers:
      - image: 192.168.31.70/demo/java-demo:v1
        name: java-demo
        imagePullPolicy: Always
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 0.3Gi
          limits:
            cpu: 1
            memory: 0.5Gi
        livenessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /
            port: 8080
          initialDelaySeconds: 60
          timeoutSeconds: 20

 

创建service暴露服务

apiVersion: v1
kind: Service
metadata:
  labels:
    app: java-demo
  name: java-demo
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 8080
    nodePort: 30018
  selector:
    app: java-demo
  type: NodePort

可以通过 任意节点的ip:30018    访问应用

使用ingress对外发布服务

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: java-demo
spec:
  rules:
  - host: java.ctnrs.com
    http:
      paths:
      - path: /
        backend:
          serviceName: java-demo
          servicePort: 80

编辑hosts文件

 

然后访问java.ctnrs.com

模拟更新应用

在harbor节点 安装mysql数据库

yum install -y mariadb-server
systemctl start mariadb
mysqladmin -uroot password "123456"  设置密码123456

编辑 java-demo/src/main/resources/application.yml

将连接数据库的地址换成 harbor节点的地址

创建demo用户并授权

MariaDB [test]> grant all on test.* to 'demo'@'192.168.31.%' identified by '123.com';
MariaDB [test]> grant all on test.* to 'demo'@'localhost' identified by '123.com';

将修改后的配置重新编译成war包

mvn clean package -Dmaven.skip.test
docker build -t java-demo:v2 .
docker tag java-demo:v2  192.168.31.70/demo/java-demo:v2
docker push  192.168.31.70/demo/java-demo:v2 

将deployment.yaml 中镜像版本v1改成v2

- image: 192.168.31.70/demo/java-demo:v2

重新应用配置后会触发滚动更新

kubectl apply -f deployment.yaml

 

再次访问应用http://java.ctnrs.com/就是升级后(更改过配置)的应用 

 

回滚应用

 

kubectl rollout history deployment/java-demo  #查看应用历史版本
kubectl rollout undo deployment/java-demo   #回滚到之前的版本
kubectl rollout undo deployment/java-demo --to-revision=1   #回到指定的历史版本
kubectl rollout status deploy/java-demo    #查看发布情况

 

4.手工模拟k8s发布php应用

测试php-demo  📎php-demo.zip

unzip php-demo.zip  && cd php-demo

构建推送镜像

FROM registry.cn-hangzhou.aliyuncs.com/benjamin-public/nginx-php:latest
MAINTAINER BenjaminYang
ADD . /usr/local/nginx/html 

 

docker build -t 192.168.31.70/demo/php-demo:v1 .
docker push 192.168.31.70/demo/php-demo:v1   #demo是私有仓库需要登录

通过deployment发布应用

deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: php-demo
  namespace: test
spec:
  replicas: 3
  selector:
    matchLabels:
      project: www
      app: php-demo
  template:
    metadata:
      labels:
        project: www
        app: php-demo
    spec:
      imagePullSecrets:
      - name: docker-regsitry-auth  
      containers:
      - name: nginx 
        image: 192.168.31.70/demo/php-demo:v2 
        ports:
        - containerPort: 80
          name: web
          protocol: TCP
        resources:
          requests:
            cpu: 0.5
            memory: 200Mi
          limits:
            cpu: 1
            memory: 0.3Gi
        livenessProbe:
          httpGet:
            path: /status.php
            port: 80
          initialDelaySeconds: 6
          timeoutSeconds: 20
        readinessProbe:
          httpGet:
            path: /status.php
            port: 80
          initialDelaySeconds: 6
          timeoutSeconds: 20

 

由于是在 test 名称空间下操作 所以需要在创建test 名称空间，并且在该名称空间下创建 secret

namespace.yaml

apiVersion: v1
kind: Namespace
metadata:
  name: test

kubectl  apply -f deployment.yaml

通过service暴露服务

service.yaml

apiVersion: v1
kind: Service
metadata:
  name: php-demo 
  namespace: test
spec:
  selector:
    project: www
    app: php-demo
  ports:
  - name: web
    port: 80
    targetPort: 80
  type: NodePort

通过ingress来对外发布服务

ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: php-demo 
  namespace: test
spec:
  rules:
    - host: php.ctnrs.com
      http:
        paths:
        - path: /
          backend:
            serviceName: php-demo 
            servicePort: 80

 

验证访问

编辑 hosts文件 

 

访问域名提示  数据库连接出错,由于配置文件中的数据库连接信息是错的

模拟应用更新

数据库添加用户并授权

 

MariaDB [(none)]> grant all on wp.* to 'wp'@'192.168.31.%' identified by '123.com';
MariaDB [(none)]> grant all on wp.* to 'wp'@'localhost' identified by '123.com';

 

编辑 php-demo/wp-config.php

 

更新当前镜像 打tag为v2

docker build -t 192.168.31.70/demo/php-demo:v2 .
docker push 192.168.31.70/demo/php-demo:v2

将 deployment.yaml 中的 镜像版本指定为 php-demo:v2

 

重新应用配置

kubectl apply -f deployment.yaml  

 

再次验证访问

成功访问wp