jenkins从入门到精通

目录

1 、持续集成及Jenkins介绍

软件开发生命周期（SDLC）

软件开发生命周期又叫做SDLC（Software Development Life Cycle），它是集合了计划、开发、测试
和部署过程的集合。如下图所示 ：
image

需求分析
根据项目需求，团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集，也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的时间预算，可以从哪方面收益及布局，这也是项目创建的目标。

设计
系统架构和满意状态（就是要做成什么样子，有什么功能），和创建一个项目计划。计划可以使用图表，布局设计或文档的方式呈现。

实现
项目经理创建和分配工作给开者，开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度，可以需要数月或更长时间才能完成。

测试
测试人员进行代码测试 ，包括功能测试、代码测试、压力测试等。

部署与运维
最后进阶段就是对产品不断的进化改进和维护阶段，根据用户的使用情况，可能需要对某功能进行修改，bug修复，功能增加等。

软件开发瀑布模型

瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动，有点像生产线一样。在瀑布模型创建之初，没有其它开发的模型，有很多东西全靠开发人员去猜测，去开发。这样的模型仅适用于那些简单的软件开发， 但是已经不适合现在的开发了。

image

优势

  • 简单易用、容易理解
  • 当前一阶段完成后，只需要关注后续阶段
  • 为项目提供了按阶段划分的检查节点

劣势

  • 各个阶段的划分完全固定，阶段之间产生大量的文档，极大的增加了工作量
  • 由于开发模型是线性的，用户只有等到整个过程的末期才能见到开发效果，从而增加了开发风险
  • 瀑布模型的突出缺点是不适应用户需求的变化

什么是敏捷开发（迭代开发与增量开发的结合）

敏捷开发（Agile Development） 的核心是迭代开发（Iterative Development） 与 增量开发（Incremental Development） 。

什么是迭代开发？
对于大型软件项目，传统的开发方式是采用一个大周期（比如一年）进行开发，整个过程就是一次"大开发"；迭代开发的方式则不一样，它将开发过程拆分成多个小周期，即一次"大开发"变成多次"小开发"，每次小开发都是同样的流程，所以看上去就好像重复在做同样的步骤。

=何为增量开发？=
软件的每个版本，都会新增一个用户可以感知的完整功能。也就是说，按照新增功能来划分迭代。

举例来说，房产公司开发一个10栋楼的小区。如果采用增量开发的模式，该公司第一个迭代就是交付一号楼，第二个迭代交付二号楼......每个迭代都是完成一栋完整的楼。而不是第一个迭代挖好10栋楼的地基，第二个迭代建好每栋楼的骨架，第三个迭代架设屋顶......

敏捷开发如何迭代？

虽然敏捷开发将软件开发分成多个迭代，但是也要求，每次迭代都是一个完整的软件开发周期，必须按照软件工程的方法论，进行正规的流程管理。

image

敏捷开发有什么好处

早期交付
敏捷开发的第一个好处，就是早期交付，从而大大降低成本。 还是以上一节的房产公司为例，如果按照传统的"瀑布开发模式"，先挖10栋楼的地基、再盖骨架、然后架设屋顶，每个阶段都等到前一个阶段完成后开始，可能需要两年才能一次性交付10栋楼。也就是说，如果不考虑预售，该项目必须等到两年后才能回款。 敏捷开发是六个月后交付一号楼，后面每两个月交付一栋楼。因此，半年就能回款10%，后面每个月都会有现金流，资金压力就大大减轻了。

降低风险=
敏捷开发的第二个好处是，及时了解市场需求，降低产品不适用的风险。 请想一想，哪一种情况损失比较小：10栋楼都造好以后，才发现卖不出去，还是造好第一栋楼，就发现卖不出去，从而改进或停建后面9栋楼？

什么是持续集成

持续集成（ Continuous integration ， 简称 CI ）指的是，频繁地（一天多次）将代码集成到主干。

持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。

通过持续集成， 团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归功于持续集成。

=== 持续集成的流程===
image

根据持续集成的设计，代码从提交到生产，整个过程有以下几步。

  • 提交
    流程的第一步，是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交（commit）。

  • 测试（第一轮）
    代码仓库对commit操作配置了钩子（hook），只要提交代码或者合并进主干，就会跑自动化测试。

  • 构建
    通过第一轮测试，代码就可以合并进主干，就算可以交付了。
    交付后，就先进行构建（build），再进入第二轮测试。所谓构建，指的是将源码转换为可以运行的实际代码，比如安装依赖，配置各种资源（样式表、JS脚本、图片）等等。

  • 测试（第二轮）
    构建完成，就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容，第二轮可以省略，当然，这时构建步骤也要移到第一轮测试前面。

  • 部署
    过了第二轮测试，当前代码就是一个可以直接部署的版本（artifact）。将这个版本的所有文件打包（tar filename.tar * ）存档，发到生产服务器。

  • 回滚
    一旦当前版本发生问题，就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接，指向上一个版本的目录。

持续集成的组成要素

  • 一个自动构建过程， 从检出代码、 编译构建、 运行测试、 结果记录、 测试统计等都是自动完成的， 无需人工干预。

  • 一个代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库，一般使用SVN或Git

  • 一个持续集成服务器， Jenkins 就是一个配置简单和使用方便的持续集成服务器
    image

持续集成的好处

1、降低风险，由于持续集成不断去构建，编译和测试，可以很早期发现问题，所以修复的代价就少；
2、对系统健康持续检查，减少发布风险带来的问题；
3、减少重复性工作；
4、持续部署，提供可部署单元包；
5、持续交付可供使用的版本；
6、增强团队信心；

Jenkins介绍（持续集成服务器）

image

Jenkins 是一款流行的开源持续集成（Continuous Integration）工具，广泛用于项目开发，具有自动化构建、测试和部署等功能。官网： http://jenkins-ci.org/ 。

Jenkins的特征：

  • 开源的Java语言开发持续集成工具，支持持续集成，持续部署。

  • 易于安装部署配置：可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理。

  • 消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告

  • 分布式构建：支持Jenkins能够让多台计算机一起构建/测试。

  • 文件识别：Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等。

  • 丰富的插件支持：支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven，docker等。

2、Jenkins安装和持续集成环境配置

持续集成流程说明

image

1、首先，开发人员每天进行代码提交，提交到Git仓库

2、然后，Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK，Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错，都重新再执行一次整个流程。

3、最后，Jenkins把生成的jar或war包分发到测试服务器或者生产服务器，测试人员或用户就可以访问应用。

image

Gitlab代码托管服务器安装

Gitlab简介

官网： https://about.gitlab.com/
GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。

GitLab和GitHub一样属于第三方基于Git开发的作品，免费且开源（基于MIT协议），与Github类似，可以注册用户，任意提交你的代码，添加SSHKey等等。不同的是，GitLab是可以部署到自己的服务器上，数据库等一切信息都掌握在自己手上，适合团队内部协作开发，你总不可能把团队内部的智慧总放在别人的服务器上吧？简单来说可把GitLab看作个人版的GitHub。

Gitlab安装

1、下载安装包，放到/root目录下
https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/
image

2、执行命令进行安装

  • 安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix policycoreutils-python
  • 启动ssh服务&设置为开机启动
systemctl enable sshd && sudo systemctl start sshd
  • 设置postfix开机自启，并启动，postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix
  • 开放ssh以及http服务，然后重新加载防火墙列表
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload

如果关闭防火墙就不需要做以上配置

  • 进入到/root目录下，找到刚上传的npm包，执行命令安装
rpm -ivh gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm
  • 修改gitlab配置
vi /etc/gitlab/gitlab.rb

修改gitlab访问地址和端口，默认为80，我们改为82
external_url 'http://192.168.66.100:82'
nginx['listen_port'] = 82

  • 重载gitlab的配置并启动gitlab
gitlab-ctl reconfigure
gitlab-ctl restart
  • 把端口添加到防火墙
firewall-cmd --zone=public --add-port=82/tcp --permanent
firewall-cmd --reload

如果关闭防火墙就不需要做以上配置

启动成功后，看到以下修改管理员root密码的页面，修改密码后，然后登录即可

192.168.66.100:82

image
本次学习设置的密码为：
root 123456789

Gitlab的基本操作

添加删除组

添加组
image
image
删除组
image

创建用户并设置密码

创建用户
image
image

设置用户密码
image

将其他用户拉进创建的组当中

image
image

五种角色的不同作用
image

  • Guest：可以创建issue、发表评论，不能读写版本库
  • Reporter：可以克隆代码，不能提交，QA、PM可以赋予这个权限
  • Developer：可以克隆代码、开发、提交、push，普通开发可以赋予这个权限
  • Maintainer：可以创建项目、添加tag、保护分支、添加项目成员、编辑项目，核心开发可以赋予这个权限
  • Owner：可以设置项目访问权限 - Visibility Level、删除项目、迁移项目、管理组成员，开发组组长可以赋予这个权限

在组中创建项目

image
image

将写好的源码上传到Gitlab仓库

1、创建一个最基础的springboot项目，开发一个controller

@RestController
public class TestController {
    @GetMapping("/test")
    public String test() {
        return "我是个项目，我的版本是：version1";
    }
}

2、在项目的根目录下输入如下命令来将代码提交到gitlab

git init

git add .

git commit -m '第一次版本提交'

git push http://192.168.66.100:82/mygroup1/myproject1.git master

3、如果使用idea操作
image
image
image
image
image
image

（1）持续集成环境 Jenkins安装

通过rpm包安装

  • 安装JDK
    Jenkins需要依赖JDK，所以先安装JDK1.8
    yum install java-1.8.0-openjdk* -y
    安装的目录为： /usr/lib/jvm

  • 获取jenkins安装包
    https://www.jenkins.io/zh/download/
    https://mirrors.tuna.tsinghua.edu.cn/jenkins/redhat/
    安装文件：jenkins-2.190.3-1.1.noarch.rpm

  • 把安装包上传到192.168.66.101服务器，进行安装
    rpm -ivh jenkins-2.190.3-1.1.noarch.rpm

  • 修改Jenkins配置
    vim /etc/sysconfig/jenkins

  • 修改内容如下

JENKINS_USER="admin"
JENKINS_PORT="8888"
  • 启动jenkins
systemctl start jenkins

通过war包安装(推荐)

  • 安装JDK
    Jenkins需要依赖JDK，所以先安装JDK1.8
    yum install java-1.8.0-openjdk* -y
    安装的目录为： /usr/lib/jvm

  • 把安装包上传到192.168.66.101服务器，进行安装
    下载地址(这是支持jdk8版本的)： https://get.jenkins.io/war-stable/2.346.1/

  • 将安装包上传到服务器上，使用java命令运行

java -jar jenkins.war --httpPort=8888

命令行参数： https://www.jenkins.io/doc/book/installing/initial-settings/

安装成功后，访问页面进行如下配置

  • 打开浏览器访问
    http://192.168.66.101:8888
    注意：本服务器把防火墙关闭了，如果开启防火墙，需要在防火墙添加端口

  • 获取并输入admin账户密码

    • 如果通过rpm安装
    cat /var/lib/jenkins/secrets/initialAdminPassword
    • 通过war包直接使用java命令运行安装
    car /root/.jenkins/secrets/initialAdminPassword

  • 跳过插件安装
    因为Jenkins插件需要连接默认官网下载，速度非常慢，而且经过会失败，所以我们暂时先跳过插件安装

image
image

  • 添加一个管理员账户，并进入Jenkins后台
    image

image

image

  • 之后就使用添加到管理员账户即可

该Jenkins实例似乎已离线的解决方案

1.保留此离线页面，重新开启一个浏览器tab标签页。

2.输入网址http://192.168.66.101:8888/pluginManager/advanced访问。

3.进入该页面后最底下，找到【升级站点】，把其中的链接https改成http后提交，若不行就改为：https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json并提交。

image

（2)持续集成环境 Jenkins插件管理

enkins本身不提供很多功能，我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码，使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。

  • 修改Jenkins插件下载地址
    Jenkins国外官方插件地址下载速度非常慢，所以可以修改为国内插件地址：

Jenkins->Manage Jenkins->Manage Plugins，点击Available
接下来在此界面等待，这样做是为了把Jenkins官方的插件列表下载到本地

  • 接着修改地址文件，替换为国内插件地址cd /var/lib/jenkins/updates 或者 /root/.jenkins/updates

解释：
将其中的updates.jenkins-ci.org/download 替换为 mirrors.tuna.tsinghua.edu.cn/jenkins

有些jenkins版本当中，是将updates.jenkins.io/download替换为 mirrors.tuna.tsinghua.edu.cn/jenkins

sed -i 's/updates.jenkins.io\/download/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json
sed -i 's/www.google.com/www.baidu.com/g' default.json
  • 最后，Manage Plugins点击Advanced，把Update Site改为国内插件下载地址
    进入 Manage Jenkins -》 Manage Plugin -> Advanced 最下面有 Update Site，设置为：https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json 或者 http://mirror.xmission.com/jenkins/updates/update-center.json

image

  • 重启jenkins
    java -jar jenkins.war --httpPort=8888

下载中文汉化插件

Jenkins->Manage Jenkins->Manage Plugins，点击Available，搜索"Chinese"

image

  • 重启jenkins
    java -jar jenkins.war --httpPort=8888

（3）持续集成环境 Jenkins用户权限管理

开启权限全局安全配置（修改授权策略，使用刚刚我们安装的插件）

我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限
image

  • 开启权限全局安全配置（修改授权策略，使用刚刚我们安装的插件）
    image

创建角色（全局角色与项目角色）

image
image
管理员等高级用户可以创建基于全局的角色 Project roles（项目角色）：针对某个或者某些项目的角色 Slave roles（奴隶角色）：节点相关的权限

我们添加以下三个角色：

baseRole：该角色为全局角色。这个角色需要绑定Overall下面的Read权限，是为了给所有用户绑定最基本的Jenkins访问权限。注意：如果不给后续用户绑定这个角色，
     会报错误：用户名 ismissing the Overall/Read permission

role1：该角色为项目角色。使用正则表达式绑定"project1.*"，意思是只能操作project1开头的项目。

role2：该角色也为项目角色。绑定"project2.*"，意思是只能操作project2开头的项目。

image
image

创建用户并指定角色

创建用户
image

image

image

分配角色
image

image

image

image

image

最后别忘了点击左下角的保存
image

(4) 持续集成环境 Jenkins凭证管理

凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等，以便Jenkins可以和这些第三方的应用进行交互。

安装Credentials Binding插件

image

安装插件后，Manager Jenkins 中出现"凭证"菜单，在这里管理所有凭证
image

image

image

添加凭证的种类（5种）

image

  • Username with password：用户名和密码

  • SSH Username with private key： 使用SSH用户和密钥

  • Secret file：需要保密的文本文件，使用时Jenkins会将文件复制到一个临时目录中，再将文件路径设置到一个变量中，等构建结束后，所复制的Secret file就会被删除。

  • Secret text：需要保存的一个加密的文本串，如钉钉机器人或Github的api token

  • Certificate：通过上传证书文件的方式

常用的凭证类型有：Username with password（用户密码） 和 SSH Username with private key（SSH）密钥

安装Git插件和Git工具

为了让Jenkins支持从Gitlab拉取源码，需要安装Git插件以及在CentOS7上安装Git工具。

Git插件安装：
image

Centos7 上安装Git工具：
yum install git -y 安装 （这种方式安装的git版本较低，可能会出现ssh密钥凭证无法使用）
git --version 安装后查看版本

Centos7 上安装Git工具：

tar -zxf git-2.6.1.tar.gz
cd git-2.6.1
  • 安装所需依赖
yum -y install libcurl-devel expat-devel curl-devel  gettext-devel openssl-devel zlib-devel
yum -y install  gcc perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-CPAN
  • 配置、安装、允许、添加到环境变量
./configure --prefix=/usr/local/git
make && make install

echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/profile
source /etc/profile

创建用户密码类型凭证，使jenkins能够通过http地址访问到gitlab

image

在jenkins创建一个项目，指定git，并选择凭证
image

此时构建项目，可以发现我们gitlab仓库中的代码被拉取到了jenkins项目当中，我们可以在jenkins的工作目录中看到：

创建ssh类型凭证，使jenkins能够通过ssh密钥访问到gitlab

  • 1、在jenkins所在的服务器，生成密钥对
ssh-keygen -t ed25519 -C "email@example.com"

在/root/.ssh/目录保存了公钥和使用
image
id_rsa：私钥文件
id_rsa.pub：公钥文件

  • 2、把生成的公钥放在Gitlab中

以想要进行ssh登录的账户来登录gitlab->点击头像->Settings->SSH Keys
复制刚才id_rsa.pub文件的内容到这里，点击"Add Key"
image

  • 3、在Jenkins中添加凭证，配置私钥

在Jenkins添加一个新的凭证，类型为"SSH Username with private key"，把刚才生成私有文件内容复制过来

  • 4、在Jenkins中配置
    image

出现stderr: No ECDSA host key is known for 192.168.66.100 and you have requested strict checking.报错的解决方案

报错信息
image

解决方案，在jenkins的linux中执行如下命令:

rm -rf known_hosts
# 注意这里的地址其实是gitlab的地址，然后根据提示确认以及输入root账户的密码即可
ssh -Tv 192.168.66.100

（5）持续集成环境-Maven安装和配置（还要配JDK的）

在Jenkins集成服务器上，我们需要安装Maven来编译和打包项目。

Linux上安装Maven并配置环境变量

tar zxf apache-maven-3.6.1-bin.tar.gz
mv apache-maven-3.6.1 /usr/local/
  • 配置环境变量vim /etc/profile，配置好之后刷新source /etc/profile
# 这个JDK是前面使用yum命令安装的
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export MAVEN_HOME=/usr/local/apache-maven-3.6.1
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
  • 修改maven的配置文件，配置镜像源（注意添加的位置）
 <localRepository>/usr/local/apache-maven-3.6.1/repo</localRepository>

<mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>
  • 创建仓库的目录
mkdir -p /usr/local/apache-maven-3.6.1/repo

全局工具配置关联JDK和Maven

image

image

image

添加Jenkins全局变量

image

image

image

在jenkins项目当中，配置构建的shell脚本

image

image

image

image

image

  • 此时就可以重新运行以下项目了，看看有没有报错
    image

(6)持续集成环境-Tomcat安装和配置(了解即可)，测试服务器192.168.66.102

安装Tomcat8.5

把Tomcat压缩包上传到192.168.66.102服务器

yum install java-1.8.0-openjdk* -y 安装JDK（已完成）
tar -xzf apache-tomcat-8.5.47.tar.gz 解压
mkdir -p /usr/local/tomcat 创建目录

mv /root/apache-tomcat-8.5.47/* /usr/local/tomcat 移动文件
/usr/local/tomcat/bin/startup.sh 启动tomcat

注意：服务器已经关闭了防火墙，所以可以直接访问Tomcat啦

地址为：http://192.168.66.102/8080

image

配置Tomcat用户角色权限

默认情况下Tomcat是没有配置用户角色权限的

image

image

但是，后续Jenkins部署项目到Tomcat服务器，需要用到Tomcat的用户，所以修改tomcat以下配置，添加用户及权限

vi /usr/local/tomcat/conf/tomcat-users.xml

内容如下

<tomcat-users>
  <role rolename="tomcat"/>
  <role rolename="role1"/>
  <role rolename="manager-script"/>
  <role rolename="manager-gui"/>
  <role rolename="manager-status"/>
  <role rolename="admin-gui"/>
  <role rolename="admin-script"/>
  <user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
</tomcat-users>

用户和密码都是：tomcat

注意：为了能够刚才配置的用户登录到Tomcat，还需要修改以下配置vi /usr/local/tomcat/webapps/manager/META-INF/context.xml

<!--
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
-->

把上面这行注释掉即可！

重启Tomcat，访问测试

/usr/local/tomcat/bin/shutdown.sh 停止
/usr/local/tomcat/bin/startup.sh 启动

访问： http://192.168.66.102:8080/manager/html ，输入tomcat和tomcat，看到以下页面代表功啦
image

配置jenkins远程部署
1、安装插件 Deploy to container
image

2、

(7)持续集成环境-Java安装和配置，测试服务器192.168.66.102，并使用Jenkins完成远程构建

服务器上安装jdk

yum install java-1.8.0-openjdk* -y

Jenkins下载安装插件 publish over ssh

配置一台目标服务器（在Configure System中配置）

image
image

继续修改配置，点击下方的高级，配置一个远程服务（在Configure System中配置）

image

image

image
nohup java -jar /root/test/*.jar >mylog.log 2>&1 &

最后保存即可

配置jenkins中的项目

添加构建后操作
image

点击添加后，会自动帮忙选中刚刚添加的ssh远程服务，确认即可

此时构建当前jenkins项目，即可完成一键部署

Jenkins构建Java的Maven项目

Jenkins构建方式（介绍3种项目）

1、自由风格软件项目

2、Maven项目 （鸡肋）

3、流水线项目

每种类型的构建其实都可以完成一样的构建过程与结果，只是在操作方式、灵活度等方面有所区别，在实际开发中可以根据自己的需求和习惯来选择。（PS：个人推荐使用流水线类型，因为灵活度非常高）

(1)Jenkins项目构建类型-自由风格项目构建（拉取代码 > 编译 > 打包 > 部署【tomcat】）

下面演示创建一个自由风格项目来完成项目的集成过程：

拉取代码

  • 创建项目
    image

  • 配置gitlab的凭据（已配置可忽略）
    image

  • 安装 Deploy to container插件并配置tomat的凭据
    image

image

  • 配置项目的git拉取代码（打开项目> 配置> 源码管理）
    image

  • 配置构建行为（注意jenkins需要配置好mavan）
    image

  • 配置构建后操作
    image

  • 构建项目即可

（2）Jenkins项目构建类型-Maven项目构建

  • 安装Maven Integration插件
    image

  • 创建Maven项目构建
    image

  • 配置gitlab的凭据（已配置）

  • 安装 Deploy to container插件并配置tomat的凭据（已配置）

  • 配置项目的git拉取代码（打开项目> 配置> 源码管理）
    image

  • 配置构建行为（注意jenkins需要配置好mavan）
    image

  • 配置构建后操作
    image

（3）Jenkins项目构建类型-Pipeline流水线项目构建

Pipeline简介 与 安装

概念
Pipeline，简单来说，就是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。

使用Pipeline有以下好处

  • 代码：Pipeline以代码的形式实现，通常被检入源代码控制，使团队能够编辑，审查和迭代其传送流程。

  • 持久：无论是计划内的还是计划外的服务器重启，Pipeline都是可恢复的。

  • 可停止：Pipeline可接收交互式输入，以确定是否继续执行Pipeline。

  • 多功能：Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行，并行执行任务的功能。

  • 可扩展：Pipeline插件支持其DSL的自定义扩展 ，以及与其他插件集成的多个选项。

如何创建 Jenkins Pipeline呢？

  • Pipeline 脚本是由 Groovy 语言实现的，但是我们没必要单独去学习 Groovy

  • Pipeline 支持两种语法：Declarative(声明式)和 Scripted Pipeline(脚本式)语法

  • Pipeline 也有两种创建方法：可以直接在 Jenkins 的 Web UI 界面中输入脚本；也可以通过创建一个 Jenkinsfile 脚本文件放入项目源码库中（一般我们都推荐在 Jenkins 中直接从源代码控制(SCM)中直接载入 Jenkinsfile Pipeline 这种方法）。

安装Pipeline插件
Manage Jenkins->Manage Plugins->可选插件
image

Pipeline语法快速入门 - Declarative声明式

  • 创建项目
    image

  • 配置项目 -> 流水线
    image

pipeline {
    agent any

    stages {
        stage('hello') {
            steps {
                echo 'Hello World'
            }
        }
    }
}

配置解释

  • stages：代表整个流水线的所有执行阶段。通常stages只有一个，里面包含多个stage
  • stage：代表流水线中的某个阶段，可能出现n个。一般分为拉取代码、编译构建、部署等阶段。
  • steps： 代表一个阶段内需要执行的逻辑。steps里面写的是shell脚本，git拉取代码、ssh远程发布等任意内容

编写一个简单的声明式Pipeline

pipeline {
    agent any

    stages {
        stage('pull git source') {
            steps {
                echo 'pull git source~~'
            }
        }
        stage('build') {
            steps {
                echo 'use maven build'
            }
        }
        stage('deploy') {
            steps {
                echo 'deploy testserver'
            }
        }
    }
}

build查看结果
image

使用代码提示生成git拉取代码

image

image

image

checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'cb5c5e5b-85a5-47f9-b8ce-9c72388f351e', url: 'http://192.168.66.100:82/mygroup1/myproject1']]])

实现项目代码编译

image

sh 'mvn clean package'

实现项目部署到测试服务器

1、部署到tomcat
image

2、通过ssh over publish
image

sshPublisher(publishers: [sshPublisherDesc(configName: 'testerver', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: 'nohup java -jar /root/test/*.jar >mylog.log 2>&1 &', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'test', remoteDirectorySDF: false, removePrefix: 'target', sourceFiles: '**/*.jar')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

完整声明式脚本 拉取-编译-部署（只是对上面3个步骤的整合）

node {
    def mvnHome
    stage('pull') {
        checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: 'cb5c5e5b-85a5-47f9-b8ce-9c72388f351e', url: 'http://192.168.66.100:82/mygroup1/myproject1.git']]])
    }
    stage('Build') {
        sh 'mvn clean package'
    }
    stage('deploye') {
        sshPublisher(publishers: [sshPublisherDesc(configName: 'testerver', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: 'nohup java -jar /root/test/*.jar >mylog.log 2>&1 &', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'test', remoteDirectorySDF: false, removePrefix: 'target', sourceFiles: '**/*.jar')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
    }
}

Pipeline语法快速入门 - Declarative脚本式

  • 创建项目

  • 项目配置> 流水线

node {
    def mvnHome
    stage('pull') {
        echo "pull"
    }
    stage('Build') {
        echo "Build"
    }
    stage('deploye') {
        echo "deploye"
    }
}

配置解析

  • Node：节点，一个 Node 就是一个 Jenkins 节点，Master 或者 Agent，是执行 Step 的具体运行环境，后续讲到Jenkins的Master-Slave架构的时候用到。

  • Stage：阶段，一个 Pipeline 可以划分为若干个 Stage，每个 Stage 代表一组操作，比如：Build、Test、Deploy，Stage 是一个逻辑分组的概念。

  • Step：步骤，Step 是最基本的操作单元，可以是打印一句话，也可以是构建一个 Docker 镜像，由各类 Jenkins 插件提供，比如命令：sh ‘make’，就相当于我们平时 shell 终端中执行 make 命令一样。

Pipeline Script from SCM

刚才我们都是直接在Jenkins的UI界面编写Pipeline代码，这样不方便脚本维护，建议把Pipeline脚本放在项目中（一起进行版本控制）

  • 在项目根目录建立Jenkinsfile文件，把内容复制到该文件中
    image

  • 将源码提交到gitlab

  • 修改Jenkins的pipeline项目的配置
    image
    image

  • 重新构建项目即可看到效果

Jenkins项目构建- 常用的构建触发器（指的是什么时候触发jenkins的项目构建）

Jenkins内置4种构建触发器：

  • 触发远程构建
  • 其他工程构建后触发（Build after other projects are build）
  • 定时构建（Build periodically）
  • 轮询SCM（Poll SCM），也就是定期检查远程git仓库，如果代码发生变化就执行构建

（1）触发远程构建

项目配置 -> 构建触发器 -> 触发远程构建
image

访问如下url即可触发构建行为： http://192.168.66.101:8888/job/myproject1_pipeline/build?token=surprisemotherfaker

（2）其他工程构建后触发

image

这里的配置是： 当project1、project这2个项目中任意一个项目构建成功后，会触发当前项目的构建。

（3）cron表达式定时构建

image
定时字符串从左往右分别为： 分 时 日 月 周
一些定时表达式的例子：

每30分钟构建一次：H代表形参 H/30 * * * * 10:02 10:32

每2个小时构建一次: H H/2 * * *

每天的8点，12点，22点，一天构建3次： (多个时间点中间用逗号隔开) 0 8,12,22 * * *

每天中午12点定时构建一次 H 12 * * *

每天下午18点定时构建一次 H 18 * * *

在每个小时的前半个小时内的每10分钟 H(0-29)/10 * * * *

每两小时一次，每个工作日上午9点到下午5点(也许是上午10:38，下午12:38，下午2:38，下午
4:38) H H(9-16)/2 * * 1-5

（4）cron表达式定时轮询SCM（不推荐）

轮询SCM，是指定时扫描本地代码仓库的代码是否有变更，如果代码有变更就触发项目构建。
image

image

注意：这次构建触发器，Jenkins会定时扫描本地整个项目的代码，增大系统的开销，不建议使用。

就算使用的是pipeline流水线语法，仍然可以使用该方式，会检测到git仓库的变化的。

（5）GitHook自动触发构建[最终解决方案]

刚才我们看到在Jenkins的内置构建触发器中，轮询SCM可以实现Gitlab代码更新，项目自动构建，但是该方案的性能不佳。那有没有更好的方案呢？ 有的。就是利用Gitlab的webhook实现代码push到仓库，立即触发项目自动构建。

image

jenkins安装gitlab插件并设置自动构建

  • 需要安装两个插件：
    image

新版本的jenkins只需要按照gitlab即可，集成了hook
image

  • 设置自动构建
    image

  • 注意：以下设置必须完成，否则会报错！

Manage Jenkins->Configure System
image

Gitlab配置自动构建

  • 开启webhook功能
    使用root账户登录到后台，点击Admin Area -> Settings -> Network
    勾选"Allow requests to the local network from web hooks and services"

image

  • 在项目添加webhook
    点击项目->Settings->Integrations

image

Jenkins项目构建细节-Jenkins参数化构建（演示通过该方式来构建不同分支的项目）

有时在项目构建的过程中，我们需要根据用户的输入动态传入一些参数，从而影响整个构建结果，这时我们可以使用参数化构建。

Jenkins支持非常丰富的参数类型
image

接下来演示通过输入gitlab项目的分支名称来部署不同分支项目。

打开当前项目配置 > 配置一个String类型的参数
image

编写pipeline脚本，使用表达式获取对应的值，修改后重新push到gitlab仓库
image

手动进行项目构建
image

Jenkins项目构建细节-配置邮箱服务器发送构建结果

  • 安装Email Extension插件
    image

  • 使用QQ邮箱，打开设置，开启SMTP服务，开启后会获取一个授权码rrculvpfyxllhjgc
    image

  • 打开Jenkins设置系统管理员邮件地址
    Manage Jenkins->Configure System
    image

  • 打开Jenkins设置邮件的相关参数 Extended E-mail Notification
    Manage Jenkins->Configure System
    image

image

image

  • 打开Jenkins设置邮件通知的相关参数
    Manage Jenkins->Configure System
    image

  • 准备邮件内容，在我们项目的根目录下创建一个email.html
    image

<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <title>${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志</title>
</head>

<body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4"
      offset="0">
<table width="95%" cellpadding="0" cellspacing="0"  style="font-size: 11pt; font-family: Tahoma, Arial, Helvetica, sans-serif">
    <tr>
        本邮件由系统自动发出，无需回复！<br/>
        各位同事，大家好，以下为${PROJECT_NAME }项目构建信息</br>
        <td><font color="#CC0000">构建结果 - ${BUILD_STATUS}</font></td>
    </tr>
    <tr>
        <td><br />
            <b><font color="#0B610B">构建信息</font></b>
            <hr size="2" width="100%" align="center" /></td>
    </tr>
    <tr>
        <td>
            <ul>
                <li>项目名称 ： ${PROJECT_NAME}</li>
                <li>构建编号 ： 第${BUILD_NUMBER}次构建</li>
                <li>触发原因： ${CAUSE}</li>
                <li>构建状态： ${BUILD_STATUS}</li>
                <li>构建日志： <a href="${BUILD_URL}console">${BUILD_URL}console</a></li>
                <li>构建  Url ： <a href="${BUILD_URL}">${BUILD_URL}</a></li>
                <li>工作目录 ： <a href="${PROJECT_URL}ws">${PROJECT_URL}ws</a></li>
                <li>项目  Url ： <a href="${PROJECT_URL}">${PROJECT_URL}</a></li>
            </ul>

            <h4><font color="#0B610B">失败用例</font></h4>
            <hr size="2" width="100%" />
            $FAILED_TESTS<br/>

            <h4><font color="#0B610B">最近提交(#$SVN_REVISION)</font></h4>
            <hr size="2" width="100%" />
            <ul>
                ${CHANGES_SINCE_LAST_SUCCESS, reverse=true, format="%c", changesFormat="<li>%d [%a] %m</li>"}
            </ul>
            详细提交: <a href="${PROJECT_URL}changes">${PROJECT_URL}changes</a><br/>

        </td>
    </tr>
</table>
</body>
</html>
  • 修改pipeline脚本
pipeline {
    agent any
    stages{
         stage('pull') {
            steps {
               checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: 'cb5c5e5b-85a5-47f9-b8ce-9c72388f351e', url: 'http://192.168.66.100:82/mygroup1/myproject1.git']]])
            }
         }
         stage('Build') {
            steps {
                sh 'mvn clean package'
            }

         }
         stage('deploye') {
            steps {
                sshPublisher(publishers: [sshPublisherDesc(configName: 'testserver', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: 'nohup java -jar /root/test/*.jar >mylog.log 2>&1 &', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'test', remoteDirectorySDF: false, removePrefix: 'target', sourceFiles: '**/*.jar')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
            }
         }
    }
    post {
         always {
             emailext(
                 subject: '构建通知：${PROJECT_NAME} - Build # ${BUILD_NUMBER} - ${BUILD_STATUS}!',
                 body: '${FILE,path="email.html"}',
                 to: 'itdqxcloudmail@163.com'
             )
         }
    }
}
  • 重新提交代码，并完成一次构建
    image

Jenkins+SonarQube代码审查

（1）安装SonarQube （安装在Jenkins所在服务器上）

image

SonarQube是一个用于管理代码质量的开放平台，可以快速的定位代码中潜在的或者明显的错误。目前支持java,C#,C/C++,Python,PL/SQL,Cobol,JavaScrip,Groovy等二十几种编程语言的代码质量管理与检测。

安装SonarQube

  • 安装MYSQL（已完成）

  • 在MYSQL中创建sonar数据库CREATE DATABASE sonar;

  • 将下载好的sonarqube的压缩包放到/root目录下

# 安装解压软件
yum install unzip
# 解压
unzip sonarqube-6.7.4.zip
# 移动目录
mv sonarqube-6.7.4 /usr/local/

# 创建sonar用户，因为不能使用root启动sonarqube，会报错的
useradd sonar
passwd sonar

# 更改sonar目录及文件权限
chown -R sonar. /usr/local/sonarqube-6.7.4
  • 修改sonar配置文件
vim /usr/local/sonarqube-6.7.4/conf/sonar.properties

内容如下：
sonar.jdbc.username=root
sonar.jdbc.password=root
sonar.jdbc.url=jdbc:mysql://192.168.66.101:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true&useConfigs=maxPerformance&useSSL=false

注意：sonar默认监听9000端口，如果9000端口被占用，需要更改。

  • 启动sonarqube
cd /usr/local/sonarqube-6.7.4
su sonar ./bin/linux-x86-64/sonar.sh start 启动
su sonar ./bin/linux-x86-64/sonar.sh status 查看状态
su sonar ./bin/linux-x86-64/sonar.sh stop 停止
tail -f logs/sonar.log 查看日志
  • 访问sonarqube
    http://192.168.66.101:9000
    image

默认账户：admin/admin，使用该账户登录
登录了之后会要求生成一个token，我们随便输入一个用户名admin，然后生成一个token

db580eb721c6f8d6f4c4295a011efca269dac8b6

接下来点下一步完成即可。

使用SonarQube 实现代码审查功能

image

  • 安装SonarQube Scanner插件
    image

  • 添加SonarQube凭证
    image

image

Jenkins进行SonarQube配置

  • 添加一个SonarQube Server
    Manage Jenkins->Configure System->SonarQube servers
    image

  • 配置SonarQube工具
    Manage Jenkins->Global Tool Configuration
    image

SonarQube关闭审查结果上传到SCM功能
image

在项目添加SonarQube代码审查（非流水线项目）

  • 创建项目
    image

  • 配置源码拉取
    image

  • 在Configure System配置一个SonarQube服务，在Global Tool Configuration配置一个sonarqube扫描工具 （详情见上一节）

  • 添加构建步骤SonarQube
    image
    image

sonar.projectKey=web_freestyle
sonar.projectName=web_freestyle
sonar.projectVersion=1.0
sonar.sources=.
sonar.exclusions=**/test/**,**/target/**
sonar.java.source=1.8
sonar.java.target=1.8
sonar.sourceEncoding=UTF-8
# 扫描java项目时，指定编译文件所在目录，不指定该目录会报错
sonar.java.binaries=/

在项目添加SonarQube代码审查（流水线项目）

  • 项目根目录下，创建sonar-project.properties文件
sonar.projectKey=web_pipeline
sonar.projectName=web_pipeline
sonar.projectVersion=1.0
sonar.sources=.
sonar.exclusions=**/test/**,**/target/**
sonar.java.source=1.8
sonar.java.target=1.8
sonar.sourceEncoding=UTF-8
# 扫描java项目时，指定编译文件所在目录，不指定该目录会报错
sonar.java.binaries=/
  • 在项目根目录下，创建Jenkinsfile文件
pipeline {
    agent any
    stages{
         stage('拉取源码') {
            steps {
               checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: 'cb5c5e5b-85a5-47f9-b8ce-9c72388f351e', url: 'http://192.168.66.100:82/mygroup1/myproject1.git']]])
            }
         }
         stage('SonarQube代码审查') {
             steps{
                 script {
                    // 编写安装的全局scanner工具的名称
                    scannerHome = tool 'sonarqube-scanner'
                 }
                 // 编写System Configure中配置的sonarquebe服务的名称
                 withSonarQubeEnv('sonarqube6.7.4') {
                    sh "${scannerHome}/bin/sonar-scanner"
                 }
             }
         }
         stage('项目编译打包') {
            steps {
                sh 'mvn clean package'
            }

         }
         stage('项目部署') {
            steps {
                sshPublisher(publishers: [sshPublisherDesc(configName: 'testserver', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: 'nohup java -jar /root/test/*.jar >mylog.log 2>&1 &', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: 'test', remoteDirectorySDF: false, removePrefix: 'target', sourceFiles: '**/*.jar')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
            }
         }
    }
    post {
         always {
             emailext(
                 subject: '构建通知：${PROJECT_NAME} - Build # ${BUILD_NUMBER} - ${BUILD_STATUS}!',
                 body: '${FILE,path="email.html"}',
                 to: 'itdqxcloudmail@163.com'
             )
         }
    }
}

  • 提交代码到git仓库当中

  • jenkins创建一个流水线项目

  • 配置jenkins获取脚本的地址
    image
    image

  • 配置当前项目的参数
    image

  • 直接构建项目即可

(3)Jenkins+Docker+SpringCloud微服务持续集成(上)

Jenkins+Docker+SpringCloud持续集成流程说明，以及所需配置的服务器说明（只是多了一个步骤）

image

大致流程说明：
1）开发人员每天把代码提交到Gitlab代码仓库
2）Jenkins从Gitlab中拉取项目源码，编译并打成jar包，然后构建成Docker镜像，将镜像上传到
Harbor私有仓库。
3）Jenkins发送SSH远程命令，让生产部署服务器到Harbor私有仓库拉取镜像到本地，然后创建容器。
4）最后，用户可以访问到容器

服务列表

服务器名称 IP地址 安装的软件
代码托管服务器 192.168.66.100 Gitlab（已完成）
持续集成服务器 192.168.66.101 Jenkins，JDK1.8、Maven，Docker18.06.1-ce（已完成）
Docker仓库服务器 192.168.66.102 Docker18.06.1-ce，Harbor1.9.2（未完成）
生产部署服务器 192.168.66.103 Docker18.06.1-ce

Docker仓库服务器安装Harbor

image

Harbor（港口，港湾）是一个用于存储和分发Docker镜像的企业级Registry服务器。
除了Harbor这个私有镜像仓库之外，还有Docker官方提供的Registry。相对Registry，Harbor具有很多优势：

  1. 提供分层传输机制，优化网络传输 Docker镜像是是分层的，而如果每次传输都使用全量文件(所以用FTP的方式并不适合)，显然不经济。必须提供识别分层传输的机制，以层的UUID为标识，确定传输的对象。

  2. 提供WEB界面，优化用户体验 只用镜像的名字来进行上传下载显然很不方便，需要有一个用户界面可以支持登陆、搜索功能，包括区分公有、私有镜像。

  3. 支持水平扩展集群 当有用户对镜像的上传下载操作集中在某服务器，需要对相应的访问压力作分解。

  4. 良好的安全机制 企业中的开发团队有很多不同的职位，对于不同的职位人员，分配不同的权限，c具有更好的安全性。

注意： Harbor需要安装在192.168.66.102上面，我们把192.168.66.102作为docker仓库

  1. 先安装Docker并启动Docker（已完成）

  2. 先安装docker-compose

# 下载
sudo curl -L "https://github.com/docker/compose/releases/download/v2.2.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

# 授权
chmod a+x /usr/local/bin/docker-compose

# 查看是否安装成功
docker-compose version

  1. 下载Harbor的压缩包(这里使用v1.9.2版本)
    https://github.com/goharbor/harbor/releases
    image

  2. 上传压缩包到linux，并解压

tar -zxf harbor-offline-installer-v1.9.2.tgz
mv harbor /usr/local/
cd /usr/local/harbor/
  1. 修改harbor的配置vi harbor.yml
hostname: 192.168.66.102
port: 85

image

  1. 安装harbor（注意这2个步骤需要已经安装好了docker）
./prepare
./install.sh
  1. 启动Harbor(注意需要在Harbor的家目录)
docker-compose up -d 启动
# 也可以这样，-f指定文件位置
docker-compose -f /usr/local/harbor/docker-compose.yml up

docker-compose stop 停止
docker-compose restart 重新启动
  1. 访问harbor
    http://192.168.66.102:85
    默认账号密码： admin Harbor12345
    image

在Harbor创建用户和项目（公开、私有）

  • 1）创建项目
    Harbor的项目分为公开和私有的：
    公开项目：所有用户都可以访问，通常存放公共的镜像，默认有一个library公开项目。
    私有项目：只有授权用户才可以访问，通常存放项目本身的镜像。
    我们可以为微服务项目创建一个新的项目
    image

image

  • 2）创建用户
    image
    image

  • 3）给私有项目分配用户

image
image

image

权限说明

  • 访客：对于指定项目拥有只读权限
  • 开发人员：对于指定项目拥有读写权限
  • 维护人员：对于指定项目拥有读写权限，创建 Webhooks
  • 项目管理员：除了读写权限，同时拥有用户管理/镜像扫描等管理权限
  • 4）以新用户登录Harbor
    image

镜像上传到Harbor(192.168.66.101 Jenkins服务)

  • 1）给镜像打上标签（这里仅仅是做个示例）
docker tag openjdk:8-jdk-alpine 192.168.66.102:85/gulimall/openjdk:8-jdk-alpine
  • 2） 推送镜像 docker push 192.168.66.102:85/gulimall/openjdk:8-jdk-alpine
The push refers to repository [192.168.66.102:85/gulimall/openjdk]
Get "https://192.168.66.102:85/v2/": http: server gave HTTP response to HTTPS client

这时会出现以上报错，是因为Docker没有把Harbor加入信任列表中
  • 3） 把Harbor地址加入Docker信任列表
vi /etc/docker/daemon.json

{
  "registry-mirrors": ["https://01h7qfqd.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.66.102:85"]
}
  • 4）重启Docker
  • 5）再次执行推送命令，会提示权限不足
denied: requested access to the resource is denied

  • 6）使用Docker登录Harbor
    docker login -u codestars -p Harbor12345 192.168.66.102:85

  • 7）再次重新推送

  • 8）查看镜像仓库
    image

从Harbor下载镜像到当前docker当中（192.168.66.103测试服务器）

  • 1）安装Docker，并启动Docker（已经完成）

  • 2）修改Docker配置，重启docker

vi /etc/docker/daemon.json

{
  "registry-mirrors": ["https://zydiol88.mirror.aliyuncs.com"],
  "insecure-registries": ["192.168.66.102:85"]
}
  • 3）先登录，再从Harbor下载镜像
docker login -u codestars -p Harbor12345 192.168.66.102:85

docker pull 192.168.66.102:85/gulimall/openjdk:8-jdk-alpine

微服务持续集成（1）- 项目代码上传到gitlab

image

微服务持续集成（2）- -从Gitlab拉取项目源码（使用流水线项目）

  • 创建流水线项目

  • 配置流水线项目从git仓库中拉取脚本
    image

  • 编写脚本

// gitlab的凭证，其实就是连接gitlab凭据的唯一标识，在凭据管理器里能够找到
def git_auth = "cb5c5e5b-85a5-47f9-b8ce-9c72388f351e"
node {
    stage('拉取代码') {
        checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: 'http://192.168.66.100:82/root/gulimall.git']]])
    }
}
  • 构建当前项目

微服务持续集成（3）-提交到SonarQube代码审查

  • 为当前创建的项目添加3个参数
    image

image

image

  • 每个项目的根目录下添加sonar-project.properties（注意名称需要换）
# 注意名称需要换
sonar.projectKey=gulimall-pms
sonar.projectName=gulimall-pms
sonar.projectVersion=1.0
sonar.sources=.
sonar.exclusions=**/test/**,**/target/**
sonar.java.source=1.8
sonar.java.target=1.8
sonar.sourceEncoding=UTF-8
# 扫描java项目时，指定编译文件所在目录，不指定该目录会报错
sonar.java.binaries=/
  • 修改Jenkins构建脚本，添加代码审查的步骤
// gitlab的凭证，其实就是连接gitlab凭据的唯一标识，在凭据管理器里能够找到
def git_auth = "cb5c5e5b-85a5-47f9-b8ce-9c72388f351e"
node {
    stage('拉取代码') {
        checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: 'http://192.168.66.100:82/root/gulimall.git']]])
    }
    stage('SonarQube代码审查') {
        def scannerHome = tool 'sonarqube-scanner'
        withSonarQubeEnv('sonarqube6.7.4') {
            sh """
            cd ${project_name}
            ${scannerHome}/bin/sonar-scanner
            """
        }
    }
}

微服务持续集成（4）- 使用Dockerfile编译（注意打包后的tag就只能在这配置）、生成镜像

  • 1、在每个微服务项目的pom.xml加入dockerfile-maven-plugin插件 (公共模块的pom、父工程的pom不用)
    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <goals>
                            <goal>repackage</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>com.spotify</groupId>
                <artifactId>dockerfile-maven-plugin</artifactId>
                <version>1.3.6</version>
                <configuration>
                    <repository>${project.artifactId}</repository>
                    <buildArgs>
                        <JAR_FILE>target/${project.build.finalName}.jar</JAR_FILE>
                    </buildArgs>
                </configuration>
            </plugin>
        </plugins>
    </build>

如果需要添加镜像的tag版本，则需要在该插件中添加tag标签

<tag>${project.version}</tag>
  • 2、在每个微服务项目根目录下建立Dockerfile文件（注意：每个项目公开的端口不一样）
#FROM java:8
FROM openjdk:8-jdk-alpine
ARG JAR_FILE
COPY ${JAR_FILE} app.jar
EXPOSE 10086
ENTRYPOINT ["java","-jar","/app.jar"]
  • 3、修改Jenkins脚本
// gitlab的凭证，其实就是连接gitlab凭据的唯一标识，在凭据管理器里能够找到
def git_auth = "cb5c5e5b-85a5-47f9-b8ce-9c72388f351e"
node {
    stage('拉取代码') {
        checkout([$class: 'GitSCM', branches: [[name: '*/master']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: 'http://192.168.66.100:82/root/gulimall.git']]])
    }
    stage('SonarQube代码审查') {
        def scannerHome = tool 'sonarqube-scanner'
        withSonarQubeEnv('sonarqube6.7.4') {
            sh """
            cd ${project_name}
            ${scannerHome}/bin/sonar-scanner
            """
        }
    }
    stage('编译，构建镜像') {
        //定义镜像名称
        def imageName = "${project_name}:${tag}"
        // 注意：如果出现找不到父工程依赖，需要手动把父工程的依赖上传到仓库中
        // 其实也可以直接先mvn install 一下父工程即可

        //编译，安装公共工程
        sh "mvn -f gulimall-common clean install"
        //编译，构建本地镜像
        sh "mvn -f ${project_name} clean package dockerfile:build"
    }
}
  • 重新构建一下jenkins项目即可看到效果（先解决下一个标题说的问题）

找不到父工程的问题

报错信息：

 Failed to read artifact descriptor for com.gulimall:gulimall-common:jar:1.0-SNAPSHOT: Could not find artifact com.gulimall:gulimall_test:pom:1.0-SNAPSHO

解决方案：

  • 直接先对整个项目进行一个mvn install即可
cd /root/.jenkins/workspace/gulimall
mvn install

微服务持续集成(5)-上传到Harbor镜像仓库（都使用默认的tag）

  • 1）使用凭据管理Harbor私服账户和密码，然后生成一下pipeline的脚本
    image
    image
    image

  • 2）修改Jenkinsfile构建脚本

// gitlab的凭证，其实就是连接gitlab凭据的唯一标识，在凭据管理器里能够找到
def git_auth = "cb5c5e5b-85a5-47f9-b8ce-9c72388f351e"
//构建版本的名称
def tag = "latest"
//Harbor私服地址
def harbor_url = "192.168.66.102:85"
//Harbor的项目名称
def harbor_project_name = "gulimall"
//Harbor的凭证，其实就是连接harbor凭据的唯一标识，在凭据管理器里能够找到
def harbor_auth = "ab8dd739-f9af-4982-96de-c94d14fdadb9"

node {
    stage('拉取代码') {
        checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: 'http://192.168.66.100:82/root/gulimall.git']]])
    }
    stage('SonarQube代码审查') {
        def scannerHome = tool 'sonarqube-scanner'
        withSonarQubeEnv('sonarqube6.7.4') {
            sh """
            cd ${project_name}
            ${scannerHome}/bin/sonar-scanner
            """
        }
    }
    stage('编译，构建镜像') {
        //定义镜像名称
        def imageName = "${project_name}:${tag}"
        // 注意：如果出现找不到父工程依赖，需要手动把父工程的依赖上传到仓库中
        // 其实也可以直接先mvn install 一下父工程即可

        //编译，安装公共工程
        sh "mvn -f gulimall-common clean install"

        //编译，构建本地镜像
        sh "mvn -f ${project_name} clean package dockerfile:build"

        //给镜像打标签
        sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"

        // 登录Harbor，并上传镜像
        withCredentials([usernamePassword(credentialsId: "${harbor_auth}",
            passwordVariable: 'password', usernameVariable: 'username')]) {
            //登录
            sh "docker login -u ${username} -p ${password} ${harbor_url}"
            //上传镜像
            sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
        }

        //删除本地镜像，分别为dockerfile构建的，以及打tag生成的，全部删掉
        sh "docker rmi -f ${imageName}"
        sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"
    }
}

当配置了Item项目的参数时，脚本中也有对应的参数，将会优先使用脚本中定义的

微服务持续集成(6)- 拉取镜像和发布应用

  • 安装Publish Over SSH插件

  • 在192.168.66.101 Jenkins服务器上生成ssh证书，然后把公钥传输给 192.168.66.103测试服务器

# 在192.168.66.101输入如下命令，然后连按3次回车，之后将会在/root/.ssh目录下看到公钥跟私钥
ssh-keygen -t rsa -b 4096 -C "email@example.com"

# 将公钥拷贝给192.168.66.103
ssh-copy-id 192.168.66.103

之后可以在192.168.66.103上找到对应的公钥文件
image

  • 配置远程部署服务器
    image

image

  • 为项目修改配置，添加一个port参数
    image

  • 修改Jenkinsfile构建脚本
    生成一下操作远程服务器的pipeline脚本模板
    image

// gitlab的凭证，其实就是连接gitlab凭据的唯一标识，在凭据管理器里能够找到
def git_auth = "cb5c5e5b-85a5-47f9-b8ce-9c72388f351e"
//构建版本的名称
def tag = "latest"
//Harbor私服地址
def harbor_url = "192.168.66.102:85"
//Harbor的项目名称
def harbor_project_name = "gulimall"
//Harbor的凭证，其实就是连接harbor凭据的唯一标识，在凭据管理器里能够找到
def harbor_auth = "ab8dd739-f9af-4982-96de-c94d14fdadb9"

node {
    stage('拉取代码') {
        checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: 'http://192.168.66.100:82/root/gulimall.git']]])
    }
    stage('SonarQube代码审查') {
        def scannerHome = tool 'sonarqube-scanner'
        withSonarQubeEnv('sonarqube6.7.4') {
            sh """
            cd ${project_name}
            ${scannerHome}/bin/sonar-scanner
            """
        }
    }
    stage('编译，构建镜像') {
        //定义镜像名称
        def imageName = "${project_name}:${tag}"
        // 注意：如果出现找不到父工程依赖，需要手动把父工程的依赖上传到仓库中
        // 其实也可以直接先mvn install 一下父工程即可

        //编译，安装公共工程
        sh "mvn -f gulimall-common clean install"

        //编译，构建本地镜像
        sh "mvn -f ${project_name} clean package dockerfile:build"

        //给镜像打标签
        sh "docker tag ${imageName} ${harbor_url}/${harbor_project_name}/${imageName}"

        // 登录Harbor，并上传镜像
        withCredentials([usernamePassword(credentialsId: "${harbor_auth}",
            passwordVariable: 'password', usernameVariable: 'username')]) {
            //登录
            sh "docker login -u ${username} -p ${password} ${harbor_url}"
            //上传镜像
            sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
        }

        //删除本地镜像，分别为dockerfile构建的，以及打tag生成的，全部删掉
        sh "docker rmi -f ${imageName}"
        sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"

        //=====以下为远程调用进行项目部署========
        sshPublisher(publishers: [sshPublisherDesc(configName: 'testserver', transfers: [sshTransfer(cleanRemote: false, excludes: '',
        execCommand: "/opt/jenkins_shell/deploy.sh $harbor_url $harbor_project_name $project_name $tag $port",
        execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
    }
}
  • 编写deploy.sh部署脚本，并放在远程服务器192.168.66.103的/opt/jenkins_shell目录下，别忘了添加可执行权限
#! /bin/sh
#接收外部参数
harbor_url=$1
harbor_project_name=$2
project_name=$3
tag=$4
port=$5
imageName=$harbor_url/$harbor_project_name/$project_name:$tag
echo "$imageName"

#查询容器是否存在，存在则删除
containerId=`docker ps -a | grep -w ${project_name}:${tag} | awk '{print $1}'`
if [ "$containerId" != "" ] ; then
#停掉容器
docker stop $containerId
#删除容器
docker rm $containerId
echo "成功删除容器"
fi

#查询镜像是否存在，存在则删除
imageId=`docker images | grep -w $project_name | awk '{print $3}'`
if [ "$imageId" != "" ] ; then
#删除镜像
docker rmi -f $imageId
echo "成功删除镜像"
fi

# 登录Harbor私服
docker login -u admin -p Harbor12345 $harbor_url
# 下载镜像
docker pull $imageName
# 启动容器
docker run -di -p $port:$port $imageName

echo "容器启动成功"
  • 重新构建jenkins项目，查看运行效果

微服务持续集成(7)-部署前端静态web网站

1、安装nginx服务器

yum install epel-release
yum -y install nginx 安装

修改nginx的端口，默认80，改为9090：
vi /etc/nginx/nginx.conf

还需要关闭selinux，将SELINUX=disabled
setenforce 0 先临时关闭
vi /etc/selinux/config 编辑文件，永久关闭 SELINUX=disabled

2、安装NodeJS插件
image

3、Jenkins配置Nginx服务器
Manage Jenkins->Global Tool Configuration
image

4、创建一个前端流水线项目，添加一个string参数，添加pipeline脚本
image

//gitlab的凭证
def git_auth = "68f2087f-a034-4d39-a9ff-1f776dd3dfa8"

node {
  stage('拉取代码') {
    checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']],
    doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [],
    userRemoteConfigs: [[credentialsId: "${git_auth}", url:
    'git@192.168.66.100:itheima_group/tensquare_front.git']]])
  }
  stage('打包，部署网站') {
    //使用NodeJS的npm进行打包
    nodejs('nodejs12'){
    sh '''
    npm install
    npm run build
    '''
  }
  //=====以下为远程调用进行项目部署========
  sshPublisher(publishers: [sshPublisherDesc(configName: 'master_server',
    transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '',
    execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes:false,
    patternSeparator: '[, ]+', remoteDirectory: '/usr/share/nginx/html',
    remoteDirectorySDF: false, removePrefix: 'dist', sourceFiles: 'dist/**')],
    usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
  }
}

完成后，访问：http://192.168.66.103:9090 进行测试。

Jenkins+Docker+SpringCloud微服务持续集成(下)

Jenkins+Docker+SpringCloud部署方案优化

上面部署方案存在的问题：

  • 1）一次只能选择一个微服务部署
  • 2）只有一台生产者部署服务器
  • 3）每个微服务只有一个实例，容错率低

优化方案：

  • 1）在一个Jenkins工程中可以选择多个微服务同时发布
  • 2）在一个Jenkins工程中可以选择多台生产服务器同时部署
  • 3）每个微服务都是以集群高可用形式部署

Jenkins+Docker+SpringCloud集群部署流程说明

image

（1）注意微服务注册到注册中心时，有多个的话就一起注册

例如： Eureka注册中心也需要注册到自身的服务上和另外一台eureka上

# 集群版
spring:
  application:
    name: EUREKA-HA
---
server:
  port: 10086
spring:
  # 指定profile=eureka-server1
  profiles: eureka-server1
eureka:
  instance:
    # 指定当profile=eureka-server1时，主机名是eureka-server1
    hostname: 192.168.66.103
  client:
    service-url:
      # 将自己注册到eureka-server1、eureka-server2这个Eureka上面去
      defaultZone:  http://192.168.66.103:10086/eureka/ ,http://192.168.66.104:10086/eureka/
---
server:
  port: 10086
spring:
  # 指定profile=eureka-server2
  profiles: eureka-server2
eureka:
  instance:
    # 指定当profile=eureka-server2时，主机名是eureka-server2
    hostname: 192.168.66.104
  client:
    service-url:
      # 将自己注册到eureka-server1、eureka-server2这个Eureka上面去
      defaultZone:  http://192.168.66.103:10086/eureka/ ,http://192.168.66.104:10086/eureka/
  • 其他的微服务则需要注册到多个Eureka当中
eureka:
  instance:
    prefer-ip-address: true
  client:
    service-url:
      # 将自己注册到eureka-server1、eureka-server2这个Eureka上面去
      defaultZone:  http://192.168.66.103:10086/eureka/ ,http://192.168.66.104:10086/eureka/

（2）设计Jenkins集群项目的构建参数

  • 安装Extended Choice Parameter插件，使其支持多选框
    image

  • 创建一个流水线项目

  • 从项目中拉取pipeline脚本
    1）编写好pipeline脚本放在项目的根目录下
    2）将项目代码push到gitlab远程仓库
    3）复制远程仓库的代码地址
    4）在jenkins中配置一个连接gitlab的凭据
    5）打开创建项目的配置，设置pipeline script from scm即可

  • 配置一些必备参数，以满足同时部署多个项目，并部署在多个服务器上，配置需要构建的微服务
    image

  • 配置部署服务器参数，指定部署到哪些远程服务器上
    image

  • 此时再构建项目时，就变成了这样
    image

（3）添加2个SSH服务器

  • 1、先在jenkins所在的服务器分别执行如下两条命令，将公钥拷贝到对应的远程服务器
ssh-copy-id 192.168.66.103
ssh-copy-id 192.168.66.104
  • 2、打开Jenkins的Configure System设置，配置2个SSH服务器
    image
    image

（4）编写部署脚本，将其放在2台远程访问服务器的/opt/jenkins_shell目录下

  • 编辑文件 deployCluster.sh，别忘了给可执行权限
#! /bin/sh
#接收外部参数
harbor_url=$1
harbor_project_name=$2
project_name=$3
tag=$4
port=$5
profile=$6

imageName=$harbor_url/$harbor_project_name/$project_name:$tag
echo "$imageName"

#查询容器是否存在，存在则删除
containerId=`docker ps -a | grep -w ${project_name}:${tag} | awk '{print $1}'`
if [ "$containerId" != "" ] ; then
  #停掉容器
  docker stop $containerId
  #删除容器
  docker rm $containerId
  echo "成功删除容器"
fi

#查询镜像是否存在，存在则删除
imageId=`docker images | grep -w $project_name | awk '{print $3}'`
if [ "$imageId" != "" ] ; then
  #删除镜像
  docker rmi -f $imageId
  echo "成功删除镜像"
fi

# 登录Harbor私服
docker login -u admin -p Harbor12345 $harbor_url
# 下载镜像
docker pull $imageName
# 启动容器
docker run -di -p $port:$port $imageName $profile
echo "容器启动成功"

（5）编写pipeline脚本

// gitlab的凭证，其实就是连接gitlab凭据的唯一标识，在凭据管理器里能够找到
def git_auth = "cb5c5e5b-85a5-47f9-b8ce-9c72388f351e"
//构建版本的名称
def tag = "latest"
//Harbor私服地址
def harbor_url = "192.168.66.102:85"
//Harbor的项目名称
def harbor_project_name = "gulimall"
//Harbor的凭证，其实就是连接harbor凭据的唯一标识，在凭据管理器里能够找到
def harbor_auth = "ab8dd739-f9af-4982-96de-c94d14fdadb9"

node {
    //把选择的项目信息转为数组
    def selectedProjects = "${project_name}".split(',')
    //把选择的服务区信息转为数组
    def selectedServers = "${publish_server}".split(',')

    stage('拉取代码') {
        checkout([$class: 'GitSCM', branches: [[name: '*/${branch}']], extensions: [], userRemoteConfigs: [[credentialsId: "${git_auth}", url: 'http://192.168.66.100:82/root/gulimall.git']]])
    }
    stage('SonarQube代码审查') {
        def scannerHome = tool 'sonarqube-scanner'
        withSonarQubeEnv('sonarqube6.7.4') {
            for(int i = 0;i < selectedProjects.size(); i++){
                //取出每个项目的名称和端口
                def currentProject = selectedProjects[i];
                //项目名称
                def currentProjectName = currentProject.split('@')[0]
                //项目启动端口
                def currentProjectPort = currentProject.split('@')[1]

                // 进行代码审查
                sh """
                cd ${currentProjectName}
                ${scannerHome}/bin/sonar-scanner
                """

                echo "${currentProjectName}完成代码审查"
            }
        }
    }
    stage('编译，构建镜像') {
        //编译，安装公共工程
        sh "mvn -f gulimall-common clean install"

        for(int i = 0;i < selectedProjects.size(); i++){
            //取出每个项目的名称和端口
            def currentProject = selectedProjects[i];
            //项目名称
            def currentProjectName = currentProject.split('@')[0]
            //项目启动端口
            def currentProjectPort = currentProject.split('@')[1]

            //定义镜像名称
            def imageName = "${currentProjectName}:${tag}"

            //编译，构建本地镜像
            sh "mvn -f ${currentProjectName} clean package dockerfile:build"

            //给镜像打标签
            sh "docker tag ${currentProjectName} ${harbor_url}/${harbor_project_name}/${imageName}"

            // 登录Harbor，并上传镜像
            withCredentials([usernamePassword(credentialsId: "${harbor_auth}",
                passwordVariable: 'password', usernameVariable: 'username')]) {
                //登录
                sh "docker login -u ${username} -p ${password} ${harbor_url}"
                //上传镜像
                sh "docker push ${harbor_url}/${harbor_project_name}/${imageName}"
            }

            //删除本地镜像，分别为dockerfile构建的，以及打tag生成的，全部删掉
            sh "docker rmi -f ${imageName}"
            sh "docker rmi -f ${harbor_url}/${harbor_project_name}/${imageName}"

            //=====以下为远程调用进行项目部署========
            for (int j = 0; j < selectedServers.size(); j++) {
                // 获取每个服务名称
                def currentServer = selectedServers[j]

                // 添加微服务运行时的参数：spring.profiles.active，主要是注册中心的微服务可能会用，其实我这里没用到，大家做个参考
                // 其他微服务其实根本用不上这个参数，因此我们其实还可以在这里判断项目名称，如果项目名称是我们的注册中心，再添加该参数
                def activeProfile = "--spring.profiles.active="
                if(currentServer=="master_server"){
                    activeProfile = activeProfile+"eureka-server1"
                }else if(currentServer=="slave_server1"){
                    activeProfile = activeProfile+"eureka-server2"
                }

                // 调用远程服务器上的脚本，并传递参数
                sshPublisher(publishers: [sshPublisherDesc(configName: "${currentServer}", transfers: [sshTransfer(cleanRemote: false, excludes: '',
                            execCommand: "/opt/jenkins_shell/deployCluster.sh $harbor_url $harbor_project_name $currentProjectName $tag $currentProjectPort $activeProfile",
                            execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

                // 输出一些提示信息
                echo "已成功将${currentProjectName} 部署到了${currentServer}服务器上，端口号为：${currentProjectPort} "
            }
        }
    }
}
posted @ 2022-12-08 20:35  CodeStars  阅读(7)  评论(0)    收藏  举报