Jenkins 日常运维笔记 - 主目录/主备模式/迁移/job覆盖/maven构建/日志处理

 

之前已在机房部署了一套Jenkins环境,先需要将此套环境迁移到别处,对迁移过程中的一些细节以及日常维护做了如下记录:

一、Jenkins主目录设置

1)jenkins默认的主目录放在当前用户家目录路径下的.jenkins目录中。如jenkins使用root用户启动,则主目录为/root/.jenkins
[root@code-server ~]# ll -d /root/.jenkins/
drwxr-x--- 14 root root 4096 Dec 18 15:22 /root/.jenkins/

2)可以在系统环境变量里手动设置jenkins的主目录,这样启动jenkins后,jenkins数据就会写入到手动设置的主目录里。
root用户可以在/etc/profile文件里设置
[root@jenkins01 ~]# vim /etc/profile
......
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
  
[root@jenkins01 ~]# source /etc/profile
  
===========================================================
如果是非root用户,就在用户家目录的.bashrc文件里设置
[app@jenkins01 ~]$ vim .bashrc
......
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
  
[app@jenkins01 ~]$ source .bashrc
[app@jenkins01 ~]$ echo $JENKINS_HOME
/data/tomcat8.5/webapps/jenkins
[app@jenkins01 ~]$ env
.......
JENKINS_HOME=/data/jenkins
==========================================================
 
温馨提示:
最好别将jenkins主目录指定到tomcat/webapps/jenkins,因为如果有其他同名的tomcat项目启动,容易造成数据覆盖!
所以最好将jenkins主目录指定到其他地方,比如指定到/data/jenkins。

二、Jenkins主备模式

比如:192.168.10.60和192.168.10.61是两台jenkins机器,分别为jenkins01、jenkins02
 
[root@inner-lb02 ~]# cat /data/nginx/conf/vhosts/jenkins.kevin.com.conf
upstream 8080-inc {
      server 192.168.10.60:8080 max_fails=3 fail_timeout=10s;
      #server 192.168.10.61:8080 max_fails=3 fail_timeout=10s;
}
           
  server {
      listen      80;
      server_name jenkins.kevin.com;
     
      access_log  /data/nginx/logs/jenkins.kevin.com-access.log main;
      error_log  /data/nginx/logs/jenkins.kevin.com-error.log;
     
 location ^~ /jenkins/ {
         proxy_pass http://8080-inc;
         proxy_redirect off ;
         proxy_set_header Host $host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header REMOTE-HOST $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_connect_timeout 300;
         proxy_send_timeout 300;
         proxy_read_timeout 600;
         proxy_buffer_size 256k;
         proxy_buffers 4 256k;
         proxy_busy_buffers_size 256k;
         proxy_temp_file_write_size 256k;
         proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_404;
         proxy_max_temp_file_size 128m;
         #proxy_cache mycache;
         #proxy_cache_valid 200 302 1h;
         #proxy_cache_valid 301 1d;
         #proxy_cache_valid any 1m;
        }
}
 
 
jenkins01和jenkins02两台机器:
1)jenkins服务部署目录是/data/tomcat8.5,jenkins的程序包存放目录是/data/tomcat8.5/webapps/jenkins
2)jenkins的家目录是/data/jenkins。
 
由于访问http://jenkins.kevin.com/jenkins是代理负载到192.168.10.60机器上(即是jenkins01机器)的,所以需要同步jenkins01的相关数据
到jenkins02上,以防当jenkins01机器挂掉的时候,将负载域名调整到jenkins02上。
 
同步脚本如下:
[app@jenkins01 ~]$ cat /data/rsync_jenkins.sh
#!/bin/bash
#首次同步前,可以先备份下jenkins02机器的/data/jenkins目录
rsync -e "ssh -p6666" -avpgolr /data/jenkins/ app@192.168.10.61:/data/jenkins/
 
#当真正切换到jenkins02时,才执行下面的重启jenkins服务的动作,只要重启后,同步到的数据才能在jenkins界面展示处理。
#ssh -p6666 app@192.168.10.61 "ps -ef|grep tomcat|grep -v grep|awk '{print $2}'|xargs kill -9"
#ssh -p6666 app@192.168.10.61 "/data/tomcat8.5/bin/startup.sh"
 
授执行权限,每十分钟执行一次
[app@jenkins01 ~]$ ll /data/rsync_jenkins.sh
-rwxr-xr-x. 1 app app 470 Sep 19 11:42 /data/rsync_jenkins.sh
 
[app@jenkins01 ~]$ crontab -l
*/10 * * * * /bin/bash -x /data/rsync_jenkins.sh > /dev/null 2>&1

jenkins主目录设置之后,可以登录jenkins界面查看它的主目录路径,依次点击"Jenkins"->"系统管理"->"系统设置"

三、Jenkins进程重启后,出现job任务丢失问题

在Jenkins服务进程重启后,可能会出现job任务丢失现象,或者说之前的job任务数据在jenkins重启后被覆盖了。
分析原因如下:

jenkins安装路径:/data/tomcat8
jenkins的默认的主目录放在当前用户家目录路径下的.jenkins目录中,比如:
root用户启动的jenkins主目录就是/root/.jenkins,jenkins的所有数据就是放在这个主目录下。
app用户启动的jenkins主目录就是/home/app/.jenkins,jenkins的所有数据就是放在这个主目录下。
 
由于jenkins服务是在app账号下启动的,并且修改了主目录路径:
[app@uatjenkins01 ~]$ pwd
/home/app
[app@uatjenkins01 ~]$ cat .bashrc
......
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
[app@uatjenkins01 ~]$ source .bashrc
 
所以jenkins的用户数据和jobs数据都放在了/data/jenkins主目录下了。
[app@uatjenkins01 ~]$ ll -d /data/jenkins/
drwxr-x--- 16 app app 4096 Aug 10 20:09 /data/jenkins/
 
由于服务器宕机,在机器启动后,jenkins的tomcat程序也重启了,最后发现使用原来的账号登录不了jenkins,或者登录jenkins后发现原来的job任务都没有了。
数据丢失了?这是为什么????
 
最后发现jenkins的tomcat程序是用root账号启动的,那么jenkins加载的数据自然就是默认的/root/.jenkins主目录里面的数据了,而不是之前定义的/data/jenkins
目录里面的数据了(这是在app账号下定义的jenkins主目录)
 
解决办法:
关闭root账号下的jenkins,在app账号下重启jenkins服务即可!
 
[root@uatjenkins01 ~]# ps -ef|grep tomcat
root       4059     1  0 18:28 ?        00:02:12 /usr/java/jdk1.7.0_79/bin/java -Djava.util.logging.config.file=/data/tomcat8/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Xms8192m -Xmx8192m -XX:PermSize=2048M -XX:MaxNewSize=4096m -XX:MaxPermSize=4096m -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -classpath /data/tomcat8/bin/bootstrap.jar:/data/tomcat8/bin/tomcat-juli.jar -Dcatalina.base=/data/tomcat8 -Dcatalina.home=/data/tomcat8 -Djava.io.tmpdir=/data/tomcat8/temp org.apache.catalina.startup.Bootstrap start
root      9042  8871  0 22:46 pts/2    00:00:00 grep tomcat
 
[root@uatjenkins01 ~]# kill -9 4059
 
[root@uatjenkins01 ~]# su - app
[app@uatjenkins01 ~]$ /data/tomcat8/bin/startup.sh
[app@uatjenkins01 ~]$ ps -ef|grep tomcat
app       5089    1  0 18:28 ?        00:02:13 /usr/java/jdk1.7.0_79/bin/java -Djava.util.logging.config.file=/data/tomcat8/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Xms8192m -Xmx8192m -XX:PermSize=2048M -XX:MaxNewSize=4096m -XX:MaxPermSize=4096m -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -classpath /data/tomcat8/bin/bootstrap.jar:/data/tomcat8/bin/tomcat-juli.jar -Dcatalina.base=/data/tomcat8 -Dcatalina.home=/data/tomcat8 -Djava.io.tmpdir=/data/tomcat8/temp org.apache.catalina.startup.Bootstrap start
app       9071  9044  0 22:46 pts/2    00:00:00 grep tomcat
 
这样访问jenkins,使用原来的账号登录,就能看到之前的job任务了。

四、Jenkins服务迁移

迁移步骤为:
1)先关闭新老服务器的tomcat程序,确保迁移时新老机器的jenkins都处于关闭状态。jenkins程序关闭最好是直接kill掉jenkins的tomcat程序pid。
2)将老服务器jenkins主目录下的config.xml文件以及jobs、users、workspace、plugins四个目录拷贝到新机器的jenkins主目录下。
3)重启新服务器jenkins的tomcat程序。

迁移的时候可以直接将jenkins主目录数据整个拷贝过去,也可以单独拷贝jenkins主目录下的config.xml文件以及jobs、users、workspace、plugins四个目录(这是主要的迁移数据)。一般来说,手动设置好jenkins主目录路径,启动jenkins后就会自动生成(但要确保jenkins用户有权限创建这个主目录,最好是提前手动创建并赋予jenkins启动用户的权限)

关闭老机器的jenkins程序
[root@code-server ~]# lsof -i:8080
COMMAND    PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
bundle   13481  git   15u  IPv4 2839661      0t0  TCP localhost:webcache (LISTEN)
[root@code-server ~]# kill -9 13481

新机器的jenkins程序也要同样关闭 

拷贝老服务器的jenkins主目录或者上面说的那几个重要数据到新机器的jenkins主目录下
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/ root@10.0.8.60:/data/jenkins/

或者
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr /data/jenkins/config.xml root@10.0.8.60:/data/jenkins/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/users/ root@10.0.8.60:/data/jenkins/users/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/plugins/ root@10.0.8.60:/data/jenkins/plugins/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/jobs/ root@10.0.8.60:/data/jenkins/jobs/
[root@code-server ~]# rsync -e "ssh -p22" -avpgolr --delete /data/jenkins/workspace/ root@10.0.8.60:/data/jenkins/workspace/

尤其是plugins目录,最好保证新机器下的这个目录和老机器下的这个目录数据保持一致。否则容易造成新机器的jenkins访问报错

最后启动新机器的jenkins服务
[root@jenkins01 ~]$ /data/tomcat8.5/bin/startup.sh
[app@jenkins01 ~]$ lsof -i:8080
COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    101037  app   46u  IPv6 498942      0t0  TCP *:webcache (LISTEN)

五、通过SSH方式下载Gitlab代码到Jenkins本机

一般来说,会在jenkins界面里创建工程,在工程里配置gitlab的地址,将gitlab代码下载到jenkins本机,然后通过脚本自动发版。
安全考虑,通过ssh方式下载gitlab代码。这就需要将jenkins本机的id_rsa.pub公钥上传到gitlab里。
1)如果jenkins程序通过root用户启动,则需要将root用户下的id_rsa.pub公钥上传到gitlab的SSH Keys里。
2)如果jenkins程序通过非root用户启动,则需要将非root用户的id_rsa.pub公钥上传到gitlab的SSH Keys里。

比如jenkins程序是通过app用户启动的
[app@jenkins01 ~]$ cat ~/.ssh/id_rsa.pub 
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw/I9657ZRmducrkbagPfptLwRaCmJIIQIcQ3VljBLBlwyNFBYg6KfiktMB4KHlvu4WCrGpDjVtWf7gQy
Ey+iJNsL7TyiIZdg0RRGpssu93w6IhgoHtRZni/775MrdjLQpi7hhB6wiX+eCfU7duqXT+arnEUonAF+27HegVbXuqz+oeDS/1QBzKsOoMg0K4nA7Btl
GNIn1ljvvQzyHxIJevWM0UUhFl8lv9+RCcT0cyHmjSrw/9+gr4AYZmYaqlVmCWHmwuAixx7bt3Mh3ri+BK385qAUxaVVsw3kg/vHbJEg+JYn/Xm4pdnw
j+CLn6OpQAMZm+bEx12Iwd3gazBy+Q== app@jenkins01.kevin.cn

六、非root用户启动Jenkins服务 (tomcat程序)

需要注意一个重要细节:
在linux系统下,只有root用户才可以使用1024以下的端口号,非root用户只能启动1024以上的端口。
所有如果使用非root用户启动jenkins,则端口必须配置成大于1024的,比如采用默认的8080端口,如果配置成80端口,则启动失败!

七、当SSH是非标准的22端口时,如何通过"git clone"下载gitlab代码?

如上,将jenkins本机的id_rsa.pub公钥拷贝到gitlab的SSH Keys里。

1)如果jenkins机器和gitlab机器ssh都采用默认的22端口,则就可以直接git clone下载git代码了。
[app@jenkins01 ~]$ mkdir /data/git_data/
[app@jenkins01 ~]$ cd /data/git_data/
[app@jenkins01 git_data]$ git init .
Reinitialized existing Git repository in /data/git_data/.git/

[app@jenkins01 git_data]$ git clone git@172.16.50.25:fanglianchao/dbops.git
Initialized empty Git repository in /data/git_data/dbops/.git/
Warning: Permanently added '172.16.50.25' (RSA) to the list of known hosts.
remote: Counting objects: 1224, done.
remote: Compressing objects: 100% (812/812), done.
remote: Total 1224 (delta 379), reused 1220 (delta 377)
Receiving objects: 100% (1224/1224), 9.50 MiB, done.
Resolving deltas: 100% (379/379), done.

[app@jenkins01 git_data]$ ls
dbops

====================================================================
2)如果jenkins机器和gitlab机器ssh采用的端口不一致,这就需要在jenkins本机的.ssh目录下手动创建config文件,在config文件中指定
连接gitlab时的信息。

例如:jenkins本机的ssh端口是6666,jenkins本机(172.16.50.25)的ssh端口是22,则在jenkins本机的操作如下:
[app@jenkins01 ~]$ mkdir /data/git_data/
[app@jenkins01 ~]$ cd /data/git_data/
[app@jenkins01 git_data]$ git init .
Reinitialized existing Git repository in /data/git_data/.git/

[app@jenkins01 ~]$ cat ~/.ssh/config 
Host "172.16.50.25"
Port 22

注意:config文件必须是600权限
[app@jenkins01 git_data]$ sudo chmod 600 ~/.ssh/config
[app@jenkins01 git_data]$ ll ~/.ssh/config
-rw-------. 1 app app 28 Dec 20 23:26 /home/app/.ssh/config

然后就可以正常git clone下载代码了
[app@jenkins01 git_data]$ git clone git@172.16.50.25:qwfss/qwfss.git
Initialized empty Git repository in /data/git_data/qwfss/.git/
remote: Counting objects: 110, done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 110 (delta 23), reused 0 (delta 0)
Receiving objects: 100% (110/110), 19.99 KiB, done.
Resolving deltas: 100% (23/23), done.
[app@jenkins01 git_data]$ ls
qwfss

八、下载gitlab上非master分支代码

比如将gitlab上的git@172.16.50.25:qwfss/qwfss.git下develop分支代码下载到jenkins本机,操作如下:

[app@jenkins01 git_data]$ git clone git@172.16.50.25:qwfss/qwfss.git
Initialized empty Git repository in /data/git_data/qwfss/.git/
remote: Counting objects: 110, done.
remote: Compressing objects: 100% (59/59), done.
remote: Total 110 (delta 23), reused 0 (delta 0)
Receiving objects: 100% (110/110), 19.99 KiB, done.
Resolving deltas: 100% (23/23), done.

[app@jenkins01 git_data]$ ls
qwfss
[app@jenkins01 git_data]$ cd qwfss/
[app@jenkins01 qwfss]$ 

查看分支详细情况 (推荐这种方式)
[app@jenkins01 qwfss]$ git branch 
* develop
[app@jenkins01 qwfss]$ git branch -av
* develop                29e5e1f fix(fss): 测试环境配置文件同步
  remotes/origin/HEAD    -> origin/develop
  remotes/origin/develop 29e5e1f fix(fss): 测试环境配置文件同步

切换到develop分支下
[app@jenkins01 qwfss]$ git checkout -b develop origin/develop
fatal: git checkout: branch develop already exists
====================================================================
或者
[app@jenkins01 qwfss]$ git checkout -b testapp remotes/origin/develop
====================================================================

[app@jenkins01 qwfss]$ git branch 
* develop
[app@jenkins01 qwfss]$ git branch -av
* develop                29e5e1f fix(fss): 测试环境配置文件同步
  remotes/origin/HEAD    -> origin/develop
  remotes/origin/develop 29e5e1f fix(fss): 测试环境配置文件同步

=====================================================================
git分支的日常操作可以参考:http://www.cnblogs.com/kevingrace/p/5690820.html

九、Jenkins备机环境

部署jenkins备机时,只需要定期将master机器上jenkins主目录数据拷贝到本机上即可。
   
比如:
jenkins master:10.0.8.60   jenkins01
jenkins slave:10.0.8.61    jenkins02
   
两台机器的jenkins主目录都是:/data/jenkins
[app@jenkins01 ~]$ vim /etc/profile
JENKINS_HOME="/data/jenkins"
export JENKINS_HOME
[app@jenkins01 ~]$ source /etc/profile

手动指定jenkins主目录后,待jenkins启动后,该主目录会自动生成。
但是要注意的是:jenkins启动用户要有权限生成主目录(可以提前手动创建该目录,并将权限设置成jenkins启动用户的权限)
   
那么只需要定期将master机器10.0.8.60上的/data/jenkins目录下的文件拷贝到10.0.8.61机器/data/jenkins下即可!
  
10.0.8.61上写备份脚本(两台机器提前做app账号下的ssh无密码登陆的信任关系):
[app@jenkins01 ~]$ cat /data/script/rsync_jenkins02.sh          (如下脚本,如果不添加--delete参数,则只会同步增加的数据,删除的数据不会同步)
#!/bin/bash
/usr/bin/rsync -e "ssh -p6666" -avpgolr --delete /data/jenkins/ app@10.0.8.61:/data/jenkins/

/usr/bin/ssh -p6666 app@10.0.8.61 "/bin/bash -x /home/app/kill_tomcat.sh"
/usr/bin/ssh -p6666 app@10.0.8.61 "/data/tomcat8.5/bin/startup.sh"
  
10.0.8.61上的脚本:
[app@jenkins02 ~]$ cat /home/app/kill_tomcat.sh
#!/bin/bash
ps -ef|grep java|grep -v grep|awk '{print $2}'|xargs kill -9
  
如上脚本准备好后,只需要每天定时去执行10.0.8.60机器上的同步脚本/data/script/rsync_jenkins02.sh,即可完成jenkins的备机操作了。

十、Jenkins的maven构建:基于Java代码发版(Jenkins+Gitlab+Maven+Nexus)
Jenkins(提前安装maven环境)针对Java代码的发版基本可以分为下面几个步骤:
1)安装部署Jenkins、Gitlab、Nexus。安装过程在之前的文章中已经提到过了,这里就省略了。
2)将相关代码上传到Gitlab里进行托管,上传内容需要包括pom.xml文件、src目录。其中pom.xml文件里需要配置连接Nexus的相关信息src目录里包括java编译需要的代码文件。如下截图:

 pom.xml文件里配置的是nexus的连接信息

一般而言,pom.xml文件最好放到Gitlab相关project工程的根目录下,这样在jenkins里配置时直接写"pom.xml"即可,maven读取该文件进行编译;如果pom.xml文件不放到project工程的根目录下,则在jenkins里配置时就需要写相对路径下。比如pom.xml文件放到http://gitlab.kevin.com/test.git下面的a/b/pom.xml位置,则在jenkins里配置的时候需要写"a/b/pom.xml"的相对路径。

3)Jenkins配置。构建project工程的时候,选择“构建一个maven项目”。

上面填写项目构建参数(与开发人员有关),基础参数为"clean package"。然后在Execute shell里编写脚本,将该工程执行并编译后的jar或war包同步到需要发版的目标服务器上,并重启java服务。

点击"立即构建",就会依次执行:从gitlab拉取代码,maven进行编译,然后通过脚本将编译后jar或war包同步到上线的服务器上,并重启java程序。

如下,点击"工作区"可以看到编译后的jar或war包。

录jenkins服务器,加入jenkins的根目录是/data/jenkins。则可以到jenkins服务器的/data/jenkins/jobs下找对应的project工程目录,在这个工程目录的workspace里可以看到从gitlab上拉取下面的代码,发现jenkins执行构建成功后,这些代码里会多了一个target目录,而target目录下就会有编译后的jar或war包,将这里面的jar或war包通过jenkins发版的脚本同步到上线的目标服务器上即可。

[root@uatjenkins01 gw-anshuo]# pwd
/data/jenkins/jobs/uat-gw-anshuo/workspace/qwgateway/gw-anshuo

[root@uatjenkins01 gw-anshuo]# ls                 #发现在gitlab上只有pom.xml和src,通过jenkins构建工程,maven编译后这里多了一个target目录。
pom.xml  src  target

[root@uatjenkins01 gw-anshuo]# ls target/         #target目录下有编译后的jar包,将这个jar包通过jenkins脚本同步到上线服务器上。
classes  generated-sources  generated-test-sources  gw-anshuo-1.0.0.release.jar  maven-archiver  maven-status  test-classes

十一、Jenkins日志爆满问题处理

Jenkins日志文件过大,将磁盘打满!通常查看jenkins日志文件"/var/log/jenkins/jenkins.log",发现几分钟就会产生几十G的日志,并且,jenkins.log日志一直在增长中!

内容如下:
[root@localhost jenkins]# tail -f /var/log/jenkins/jenkins.log 
..........
120: 31303040312e312e 312e313e0d0a436f 6e746163743a2073 69703a3130304031     100@1.1. 1.1>..Co ntact:.s ip:100@1
 140: 32372e302e312e31 3a353236370d0a43 5365713a2031204f 5054494f4e530d0a     27.0.1.1 :5267..C Seq:.1.O PTIONS..
 160: 43616c6c2d49443a 2032333736353733 3036343830373737 3236373837343730     Call-ID: .2376573 06480777 26787470
 180: 300d0a4d61782d46 6f7277617264733a 2037300d0a0d0a                        0..Max-F orwards: .70....
 
Nov 26, 2019 10:23:45 PM javax.jmdns.impl.DNSIncoming$MessageInputStream readName
SEVERE: bad domain name: possible circular name detected. Bad offset: 0xffffffff at 0x195
Nov 26, 2019 10:23:45 PM javax.jmdns.impl.constants.DNSRecordType typeForIndex
SEVERE: Could not find record type for index: -1
Nov 26, 2019 10:23:45 PM javax.jmdns.impl.DNSIncoming readAnswer
SEVERE: Could not find record type. domain:
dns[query,62.210.116.113:5267, length=407, id=0x4f50, flags=0x5449:aa, questions=20302
questions:
        [DNSQuestion@1698506285 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: 00@101.200.87.125 SIP/2.0
Via: SIP/2.0/UDP 127.0.1.1:5267;branch=z9hG4bK-1805463161;rport
Cont.Length: 0
From: "sipvicious"<sip:100@1.1.1.1.;tag=3635633835373764313465390132303839373931373930
Accept: a.sdp
User-Agent: friendly-scanner
To: "sipvici.<sip:100@1.1.1.1>
Contact: sip:10.@127.0.1.1:5267
CSeq: 1 OPTIONS
Call-ID: 23765.306480777267874700
Max-Forwards: 70
 
ϿϿϿϿϿϿϿϿ.]
        [DNSQuestion@690369214 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1821236921 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1695940198 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1763025063 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]
        [DNSQuestion@1908329721 type: TYPE_IGNORE index 0, class: CLASS_UNKNOWN index 0, name: ]

既然定位到了问题,那么就将该日志文件清理下, 删除或者清空它。
[root@localhost jenkins]# du -sh /var/log/jenkins/jenkins.log 
107G    /var/log/jenkins/jenkins.log

[root@localhost jenkins]# rm -f /var/log/jenkins/jenkins.log   
或者,清空该日志文件
[root@localhost jenkins]# > /var/log/jenkins/jenkins.log  

但是发现清空了jenkins日志后,磁盘空间仍然没有释放出来!这是为什么呢??接下来就需要进一步分析这其中更深层次的问题了。

在Linux系统中,通过rm或者文件管理器删除文件将会从文件系统的文件夹结构上解除链接(unlink),但是如果删除的文件是被打开的(有一个进程正在使用)状态,
那么进程将仍然能够读取该文件,磁盘空间也一直被占用她!

上面删除的是jenkins的日志文件,如果jenkins服务没有停止,那么此时删除jenkins日志文件将并不会起到什么作用!!
因为删除日志文件的时候,该文件正在被使用,当linux打开一个文件的时候, Linux内核会为每个进程在/proc(/proc/进程pid/fd/文件夹)下建立一个以其pid为名
的文件夹用来保存进程的相关信息,而其子文件夹fd保存的是该进程打开的全部文件的fd(fd是文件描述符)。

kill进程是通过截断proc文件系统中的文件能够强制要求系统回收分配给正在使用的的文件,这是一项高级技术,仅在系统管理员确定不会对执行中的进程造成影响时使用。
应用程序对这样的方式支持的并不好,当一个正在使用的文件被截断后可能会引发不可预知的问题,所以这种情况下最好还是通过停止应用进程来解决。

因为,最终的解决方法:
1)删除jenkins的log文件。
2)停止jenkins服务进程。

一般情况下,jenkins常用的部署方式:
1)通过系统服务安装并启动,进程启停命令"service jenkins start/stop/restart",此时可通过stop命令来停止jenkins服务进程;
2)将war包部署至tomcat中,此时stop tomcat服务器即可。

=============================================================================================
总结一下:
1)在Linux系统中,当一个文件正在被一个进程使用时,用户删除此文件,文件只会从目录结构中删除,但并没有真正从磁盘删除。
   只有当使用这个文件的进程结束后,文件才会真正的从磁盘删除,释放占有的空间。
2)因此,在日常运维工作中,发现系统磁盘剩余空间比较少时,在追查到一些大的临时文件或log文件并删除它们后,如果删除它们
   之后会发现磁盘空间并未减少,通常可以使用"lsof"命令去查看正常使用这些文件的进程,然后重启该服务进程,这样这些被删除
   文件就会真正从磁盘空间释放出来了!

=============================================================================================
此外,还需要注意的是:
1)在脚本中如果涉及到启动进程的话,需要加入BUILD_ID,否则该进行启动后就会被kill掉!!
   [Jenkins的BUILD_ID就是job构建ID,就是jenkins界面里"构建历史"列表里#后面的数字,这个可以在job的"Esecute Shell"脚本里
   通过"echo $BUILD_ID"打印出来,jnekins会自动识别$BUILD_ID这个环境变量]
2)如果不设置BUILD_ID,则jenkins在结束自己的脚本执行时会将创建的所有subprocess kill掉,BUILD_ID是Jenkins的一个环境变量,
   如果不设置这个变量值,那么jenkins执行完所有脚本就会退出,带着subprocess一起死掉。

上面jenkins日志暴增,日志文件信息里主要是因为DNS查询错误,返回了所有的日志数据。这个问题的解决方法:Jenkins界面 -> 系统管理 -> System log -> 日志级别 -> 配置级别 -> 名称: javax.jmdns级别off

十二、Jenkins删除job后,如何清理slave机器上对应的workspace

如果Jenkins部署的是master-slave架构模式,则在master上删除job后,slave节点上对应job的workspace不会被删除,这个需要另行处理。

那么如何实现:master节点删除job后,slave节点对应workspace也被自动删除的功能呢?方法有下面两种:
1)master->slave单向的rsync同步脚本
按照上面记录所说,master到slave节点之间有同步脚本,删除master节点上的job后,执行同步脚本,则slave节点上对应job的workspace也将会被删除。

2)通过python脚本实现该功能,具体思路是:
1. 遍历jenkins节点的workspace,根据路径解析获得jenkins job name。
2. 如果该job不存在(通过python jenkinsapi实现),则删除相应的workspace。
3. 暂不考虑自定义的workspace。
4. 需要在jenkins每个节点上进行处理(可以在jenkins上创建job,将job绑定到相应slave上;也可以在相应slave上直接运行脚本)

python脚本内容如下:
----------------------------------------------------------------------------------

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import os
import shutil
import logging
 
from jenkinsapi.jenkins import Jenkins
 
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__file__)
 
 
def get_jenkins_instance():
    jenkins_url = "http://jenkins.kevin.com"
    jenkins_username = "username"
    jenkins_password = "password"
    return Jenkins(jenkins_url, username=jenkins_username, password=jenkins_password)
 
 
def clean_workspace():
    jenkins_instance = get_jenkins_instance()
 
    jenkins_workspace_path = "/opt/JENKINS_HOME/workspace/"
 
    for dirpath, dirnames, filenames in os.walk(jenkins_workspace_path):
        if dirpath == jenkins_workspace_path:
            for dirname in dirnames:
                jenkins_job_name = dirname
                # 如果job被删除,则清理相应的workspace
                if not jenkins_instance.has_job(jenkins_job_name):
                    logger.info("removing workspace dir of job:%s" % dirname)
                    shutil.rmtree(os.path.join(dirpath, dirname))
 
 
if __name__ == "__main__":
    clean_workspace()

十三、Jenkins上job构建日志清理机制
jenkins上job构建日志的清理机制是在每个job的配置里定义的,有两种清理机制:1)保留构建的天数。2)保留构建的最大个数。即超过这两种配置的数值,job构建历史里的日志就会被自动删除。

posted @ 2017-12-21 00:34  散尽浮华  阅读(11865)  评论(0编辑  收藏