XXXX系统技术巡检报告

 
XXXX系统技术巡检报告06-06
 
 
 
文档作者：xxx
建立日期：2022年06月
 
XXXXXXXX
中控/CIRI/AI系统技术巡检报告
 
 
目录
一 系统巡检结果3
二 系统巡检目的4
2.1 巡检范围4
2.2 巡检时间及人员安排4
三 系统检查情况4
3.1 系统环境检查4
3.2 巡检指标检查5
3.2.1 网络状况检查5
3.2.2 应用服务器检查6
3.2.3 数据库服务器检查7
3.2.4 系统安全检查10
四 改进建议11
4.1 应用服务器11
4.2 数据库11
4.3 系统安全11

系统巡检结果

92
 
 
 
 
系统运行级别
对应实际评价值区间
评价
 
 
X＜30
差
 
 
30≤X＜50
较差
 
 
50≤X＜70
中等
 
 
70≤X＜90
良
 
 
90≤X
优
 
 
该运行级别的确定主要根据系统的技术环境的多个指数得出，确定运行级别的各项指数得分以及所占影响权重比例如下：
 
指数类型
指数
指数类型
指数类型得分
指数名称
得分
权重
技术环境
89.00
网络状况指标
100.00
20%
应用服务器健康指标
85.00
25%
数据库服务器健康指标
90.00
35%
系统安全指标
95.00
20%
 
 
 

系统巡检目的

本次系统巡检的目的是对甘肃省电力投资集团的Windows服务器及数据库服务的安全性和可靠性进行一个全面的了解，发现潜在的风险，并提供推荐的解决办法，同时为我们的系统运维管理工作提供技术参考依据。

巡检范围

巡检范围定义如下：
业务系统名称
服务器IP
服务器操作系统
AI应用服务器
xx.xx.xx.xx
Centos7.8
中控服务器/CIRI服务器
xx.xx.xx.xx
GNU/Linux CentOS Linux 7.8.2003 (Core) build 3.10.0-1127.el7.x86_64
 
 

巡检时间及人员安排

巡检开始时间：2022年06月06日
巡检结束时间：2022年06月06日
弘玑方巡检人：xxx

系统检查情况

系统环境检查

项目
内 容
中控/ciri/AI的版本
4.3RC
日常在线人数
5
目前数据量大小
  
数据库类型及版本
Mysql 5.7 Oracle 19C Sqlserver 2018
应用服务器
型号
Centos7.8
应用服务器
操作系统
GNU/Linux CentOS Linux 7.8.2003 (Core) build 3.10.0-1127.el7.x86_64
中间件
openresty，minio，mysql/oracle/sqlserver， guacamole,ffmpeg
应用服务器集群方式
目前是单机部署模式(但支持负载均衡集群部署方式)
数据库服务器
型号配置
  
数据库服务器
操作系统
  
数据库服务器
集群方式
目前是单机部署模式(但支持基于mha manger的高可用集群部署方式)
   
 

巡检指标检查

网络状况检查

指标
检查值
是否符合要求
参考值
重要度
带宽要求
每客户端>32KBytes(256KBit)
是
每客户端>32KBytes(256KBit)
重要
响应时间
22ms
是
<100ms
重要
丢包率
0%
是
<5%
重要
广域网用户是否启用网络压缩
是
 
是
启用
一般
 

应用服务器检查

xx.xx.xx.xx
指标
检查值
是否符合要求
参考值
重要度
操作系统位数
64
是
64
重要
JDK位数
64
是
64
重要
CPU占用率
（平均值）
7%
是
<50%
重要
内存利用率
22.04%
是
<80%
重要
I/O
无长时间IO等待
是
无长时间IO等待
重要
硬盘空间使用率
(最大值)
73.63%(C:)
是
<90%
一般
Orchestrator-manager（端口号：9124）服务
NC工作进程数
1
是
 
>日常在线人数/(50-100)
重要
NC的JAVA虚拟机堆内存最大值设置
2G
 
是
 
4G
 
重要
NC数据库连接池最小连接数
10
是
20
一般
NC数据库连接池最大连接数
10
是
40
一般
 
Orchestrator-trigger（端口号：9123）服务
NC工作进程数
1
是
>日常在线人数/(50-100)
重要
  
NC的JAVA虚拟机堆内存最大值设置
1G
是
2G
重要
  
NC数据库连接池最小连接数
10
是
20
一般
  
NC数据库连接池最大连接数
 
10
是
40
一般
  
Orchestrator-workflow（端口号：9127）服务
NC工作进程数
1
是
>日常在线人数/(50-100)
重要
  
NC的JAVA虚拟机堆内存最大值设置
1G
是
2G
重要
  
NC数据库连接池最小连接数
10
是
20
一般
  
NC数据库连接池最大连接数
10
是
40
一般
  
Common-service（端口号：9128）服务
NC工作进程数
1
是
>日常在线人数/(50-100)
重要
  
NC的JAVA虚拟机堆内存最大值设置
1G
是
2G
重要
  
NC数据库连接池最小连接数
10
是
20
一般
  
NC数据库连接池最大连接数
10
是
40
一般
  
Orchestrator-gateway（端口号：3000）服务
NC工作进程数
1
是
>日常在线人数/(50-100)
重要
  
NC的JAVA虚拟机堆内存最大值设置
1G
是
2G
重要
  
NC数据库连接池最小连接数
-
是
-
一般
  
NC数据库连接池最大连接数
-
是
-
一般
  
license-service（端口号：9129）服务
NC工作进程数
1
是
>日常在线人数/(50-100)
重要
  
NC的JAVA虚拟机堆内存最大值设置
1G
是
2G
重要
  
NC数据库连接池最小连接数
10
是
20
一般
  
NC数据库连接池最大连接数
10
是
40
一般
  
Orchestrator-expose（端口号：9122）服务
NC工作进程数
1
是
>日常在线人数/(50-100)
重要
  
NC的JAVA虚拟机堆内存最大值设置
512M
是
1G
重要
  
NC数据库连接池最小连接数
-
是
-
一般
  
NC数据库连接池最大连接数
-
是
-
一般
  
xx.xx.xx.xx
指标
检查值
是否符合要求
参考值
重要度
操作系统位数
64
是
64
重要
JDK位数
64
是
64
重要
CPU占用率
（平均值）
5%
是
<50%
重要
内存利用率
38%
是
<80%
重要
I/O
无长时间IO等待
是
无长时间IO等待
重要
硬盘空间使用率
(最大值)
71.36%（D:）
是
<90%
一般
xx.xx.xx.xx
指标
检查值
是否符合要求
参考值
重要度
操作系统位数
64
是
64
重要
CPU占用率
（平均值）
20%
是
<50%
重要
内存利用率
96%
否
<80%
重要
I/O
无长时间IO等待
是
无长时间IO等待
重要
硬盘空间使用率
(最大值)
74.37%（D:）
是
<90%
一般

数据库服务器检查

获取检查数据脚本：

一、环境信息

服务器IP地址
xx.xx.xx.xx
主机名
localhost.localdomain
操作系统版本
CentOS Linux release 7.8.2003 (Core)
内核版本
3.10.0-1127.el7.x86_64
MySQL架构
单实例
MySQL版本
5.7.34

二、主机分析

1、CPU及内存
10.115.1.142
 
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 294912 976700 139880 24849428 0 0 3 99 4 3 1 1 97 0 0
2 0 294912 977384 139880 24849608 0 0 0 530 3944 6686 3 1 96 0 0
0 0 294912 977196 139880 24849620 0 0 0 220 3421 6227 1 1 99 0 0
0 0 294912 977292 139880 24849680 0 0 0 372 6694 11455 3 2 95 0 0
0 0 294912 977228 139880 24849692 0 0 0 256 4218 7529 1 1 97 1 0
0 0 294912 977292 139880 24849808 0 0 0 179 4185 7369 1 1 98 0 0
0 0 294912 977356 139880 24849808 0 0 0 116 2992 5825 1 1 99 0 0
0 0 294912 977356 139880 24849836 0 0 0 6636 4519 7857 1 1 98 1 0
0 0 294912 977028 139880 24849900 0 0 0 1508 12814 22340 5 4 91 1 0
0 0 294912 975604 139880 24849964 0 0 0 759 5593 9456 2 1 97 0 0
观察us/id/wa参数值是否过大，过大表明系统比较繁忙
分析：正常
2、操作系统日志
10.115.1.142
  
确认系统日志中是否有ERROR或者硬件故障
分析：正常
3、文件系统使用率
xx.xx.xx.xx
Filesystem Size Used Avail Use% Mounted on
devtmpfs 17G 0 17G 0% /dev
tmpfs 17G 0 17G 0% /dev/shm
tmpfs 17G 107M 17G 1% /run
tmpfs 17G 0 17G 0% /sys/fs/cgroup
/dev/mapper/centos-root 54G 40G 14G 75% /
/dev/sdb1 529G 49G 453G 10% /data
/dev/sda1 1.1G 194M 871M 19% /boot
/dev/mapper/centos-home 49G 39M 49G 1% /home
tmpfs 3.4G 13k 3.4G 1% /run/user/42
tmpfs 3.4G 0 3.4G 0% /run/user/0
tmpfs 3.4G 0 3.4G 0% /run/user/1002
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/d0266b8aed0782479db7745b9bb4dbcbc827aed374a9aaf79167e7ac8108b0f6/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/c93175dde1814e232fc83dc9c1f36c7021fc22a65d191f2fb9a09e77993e0a26/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/a7f91d9f29946b558ba477cd18b704a12441d271ed275e8e26e15162b13a7297/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/14323a08fd2fc1a3b6bfe18a652790149ae92d6b39821d07584f944c7c62a330/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/4ea952060d764d9a247facc2506bbe5f0a1db6f089beb99d1f72fe5705a6c189/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/38daff8db34b40e80a2cacbc279c16b802be3444621b4391479f2f6f12c893f4/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/4bc3c0d0aea23834b3b4e6f683a219f9a09f0598a1b6d1910d260b92dfc74af9/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/484c18e25c745972c7263d62eced32b18ed0d724b330e3a06553e4822602af52/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/8f8daa2bc96f591c9203a1e8bfa9578747aa1cbed0a061d400f959ae1e8773f0/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/0329344e3ff94d49685a884e2bb8dea7ea728ee5e0fb74d18ad31443273604be/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/ee2f98f8466851313090cd9241080ab18397cbef015141f53351222a3604c699/merged
overlay 54G 40G 14G 75% /var/lib/docker/overlay2/6d0c9dab550b5c3b9d5cbf0448c183a3515e5cb3e6e905734e59f8b247f65245/merged
观察空间使用情况，超过80%应该预警出来
分析：正常
 

三、数据库配置

1、连接数Connections
xx.xx.xx.xx
Max_used_connections | 61
max_connections | 151
分析：正常，当前最大的并发连接小于最大连接数
2、abort连接状态
xx.xx.xx.xx
Aborted_clients | 0
Aborted_connects | 12
Aborted Connect表示尝试连接到MySQL服务器失败的次数
Aborted Clients表示由于客户端没有正确关闭连接而中止的连接数
分析：正常
3、长会话信息
xx.xx.xx.xx
  
分析：正常
4、线程Thread
10.115.1.142
Threads_cached | 2
Threads_connected | 59
Threads_created | 61
Threads_running | 1
threads_created表示创建过的线程数，如果发现threads_created值过大的话，表明mysql服务器一直在创建线程，这也是比较耗资源，可以适当增加配置文件中thread_cache_size值
分析：正常
5、TOPSQL
xx.xx.xx.xx
 
 
查看SQL详情：select * from performance_schema.events_statements_summary_by_digest where DIGEST='sql标识';
分析：正常
6、慢查询分析
xx.xx.xx.xx
long_query_time | 10.000000
slow_query_log | OFF
分析：慢查询未打开，建议设置long_query_time=1，方便优化慢SQL
7、TOP10表
xx.xx.xx.xx
 
建议在业务低峰期对碎片率较大的表进行清理。
分析：正常
8、临时表状态
xx.xx.xx.xx
Created_tmp_disk_tables | 646615
Created_tmp_tables | 1628160
创建临时表，Created_tmp_tables增加，如果临时表大小超过tmp_table_size，则是在磁盘上创建临时表，Created_tmp_disk_tables也增加，建议的区间：
Created_tmp_disk_tables / Created_tmp_tables * 100% <= 20%
分析：比率为39%，建议在业务低峰期调整tmp_table_size和max_heap_table_size的值为32M
9、冗余索引
xx.xx.xx.xx
 
数据库中存在冗余索引和重复索引，大多数情况下，冗余索引和重复索引是没有意义的，冗余索引在某些场景下能有良好的性能表现，如使用到了覆盖索引，建议根据情况进行删除，较多的索引在增加空间占用的同时，也增加了数据维护的成本
分析：存在冗余索引，建议结合业务清除不必要的索引
10、Lock状态
xx.xx.xx.xx
Table_locks_immediate | 150
Table_locks_waited | 0
table_locks_immediate表示立即释放表锁数， table_locks_waited表示需要等待的表锁数。需要等待的表锁数不能太大。
分析：正常
11、权限检查
xx.xx.xx.xx
 
 
不建议让非管理员用户具有比较大的权限
分析：正常
12、Innodb引擎参数
xx.xx.xx.xx
innodb_buffer_pool_size | 134217728
全局静态参数，默认值128MB。InnoDB缓存表和索引数据的内存区域（包括数据页、索引页、插入缓存、锁信息、自适应哈希、数据字典信息）。当缓冲池的大小大于1GB时，设置innodb_buffer_pool_instances为大于1的值可以提高繁忙服务器上的可伸缩性。
分析：未收到现场同事反馈数据库响应慢，如果数据库出现比较卡，响应慢情况，可以适当调整该值
 

系统安全检查

指标
检查值
是否符合要求
参考值
重要度
是否使用防火墙
是
是
是
重要
客户端启用防病毒软件
是
是
启用
重要
应用服务器操作系统管理员密码是否高强度
是
是
是
重要
数据库服务器操作系统管理员密码是否高强度
是
是
是
重要
数据库管理员及数据库用户密码是否高强度
否
 
是
是
重要
中控/CIRI系统管理员（原root）密码是否高强度
否
是
是
重要
中控/CIRI套管理员密码是否高强度
否
是
是
 
重要
中控/CIRI管理员不使用root、admin等名称
是
 
是
 
是
重要
是否启用数字证书（如不使用银企直联功能可忽略）
是
是
是
重要

改进建议

应用服务器

指标
检查值
参考值
改进措施
/
/
/
/
       

数据库服务器

暂无

系统安全

指标
检查值
参考值
改进措施
数据库管理员及数据库用户密码是否高强度
否
是
修改为高强度账号名
中控/CIRI系统管理员（原root）密码是否高强度
否
是
修改为高强度账号名
中控/CIRI套管理员密码是否高强度
否
是
修改为高强度账号名
 
『用户签字页』
用户代表_______________
 
日期___________________
 
 
 
 
 
 
 
 
 
 
 
『弘玑方签字』
 
总部工程师_______________ 一线机构顾问_______________
 
日 期___________________ 日 期_____________________
 
 
 
『客户方签字』
 
用户代表_______________
 
日期___________________
 
posted @ 2022-08-17 17:51  up~up  阅读(326)  评论(0)    收藏  举报