使用MySQLMTOP监控MySQL性能（网络收集）

参考：MySQL监控系统MySQL MTOP的搭建（较为详细）

 

MySQLMTOP是一个由Python+PHP开发的MySQL企业级监控系统。系统由Python实现多进程数据采集和告警，PHP实现WEB展示和管理。最重要是MySQL服务器无需安装任何Agent，只需在监控WEB界面配置相关数据库信息

功能非常强大：

可对上百台MySQL数据库的状态、连接数、QTS、TPS、数据库流量、复制、性能等进行时时监控

能在数据库偏离设定的正常运行阀值(如连接异常，复制异常，复制延迟) 时发送告警邮件通知到DBA进行处理

对历史数据归档，通过图表展示出数据库近期状态，以便DBA和开发人员能对遇到的问题进行分析和诊断

系统主要由仪表盘、状态监控、进程监控、复制监控、慢查询分析、性能图表、工具组件、告警事件、系统资源等子系统组成，每个子系统负责完成特定信息的采集和展示

 

一、环境说明

1、服务器角色

服务器角色

172.18.35.29

10.160.22.14 (MySQL Master)

10.160.22.47 (MySQL Slave)

监控点

YES

NO

NO

被监控点

NO

YES

YES

 

2、系统环境

CentOS 6.2 x86_64

 

3、环境要求

MySQL MTOP由PHP和Python开发，所以监控机需要安装PHP运行环境和Python环境。需要的核心包如下：

(1)、MySQL 5.0 及以上       （用来存储监控系统采集的数据）

(2)、Apache 2.2 及以上        （WEB 服务器运行服务器）

(3)、PHP 5.3 以上                （WEB 界面）

(4)、Python 2                       （推荐 2.7 版本，其他版本未做测试，执行数据采集和报警任务）

(5)、MySQLdb for python     （Python 连接 MySQL 的接口）

 

4、环境说明

本次的监控系统采用开源项目（MySQLMTOP），更多相关信息可以参考：http://www.mtop.cc/

 

 

 

=========================================================================================

二、LAMP环境部署

略

 

=========================================================================================

三、Python基础环境部署

https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz

# tar xvzf Python-2.7.6.tgz

# cd Python-2.7.6

# ./configure --prefix=/usr/local/python2.7 --enable-shared

# make && make install

 

# echo '/usr/local/python2.7/lib' >> /etc/ld.so.conf

# /sbin/ldconfig

 

# mv /usr/bin/python /usr/bin/python_old

# ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python

 

为避免 python 版本过高，导致 yum 不可以，需做如下修改：

# vim /usr/bin/yum

由  #!/usr/bin/python  修改为  #!/usr/bin/python_old

 

-----------------------------------------------------------------------------------------------------------------------------------------------

http://pypi.python.org/packages/source/d/distribute/distribute-0.6.28.tar.gz

# tar xvzf distribute-0.6.28.tar.gz

# cd distribute-0.6.28

# python setup.py install

 

-----------------------------------------------------------------------------------------------------------------------------------------------

https://github.com/farcepest/MySQLdb1/archive/MySQLdb-1.2.5.tar.gz

# tar xvzf MySQLdb1-MySQLdb-1.2.5.tar.gz

# cd MySQLdb1-MySQLdb-1.2.5

 

# vim site.cfg

mysql_config =/usr/local/mysql/bin/mysql_config

……

 

# python setup.py build

# python setup.py install

 

=========================================================================================

四、mysqlmtop环境部署

1、创建监控机数据库并授权

# mysql -uroot -e "create database mysqlmtop default character set utf8;"

# mysql -uroot -e "grant all privileges on mysqlmtop.* to 'mtop_user'@'%' identified by '123456';"

# mysql -uroot -e "flush privileges;"

 

2、导入SQL文件夹里的SQL文件（表结构和数据文件）

# unzip mysqlmtop_v2.1.zip

# cd mysqlmtop_v2.1

# mysql -uroot mysqlmtop < sql/mysqlmtop.sql

# mysql -uroot mysqlmtop < sql/mysqlmtop_data.sql

 

3、在被监控机上创建授权账号

# mysql -uroot -e "grant select,super,process on *.* to 'monitor'@'172.18.35.29' identified by 'monitor';"

# mysql -uroot -e "flush privileges;"

 

4、mysqlmtop配置

# cp -a mysqlmtop /usr/local/

# cp -a frontweb /data/web/data/

 

# cd /usr/local/mysqlmtop/

# vim etc/config.ini

wKiom1Mv1vST314lAAG1CcNGZeg700.jpg

 

# chmod +x *.py *.sh mtopctl

# ln -s /usr/local/mysqlmtop/mtopctl /usr/local/bin

( 注意：需要使用dos2unix命令进行格式转换，否则会运行失败 )

 

5、测试MySQL连接是否正常

# cd /usr/local/mysqlmtop && ./test_mysql.py

MySQLDB OK!

 

6、启动监控系统

# mtopctl start

wKioL1Mv1tzz-HwGAACRdhmC5D4634.jpg

 

7、前端WEB展示层配置

# cd /data/web/data/frontweb/

# chown -R nobody:nogroup /data/web/data/frontweb

# chmod -R 750 /data/web/data/frontweb

 

# vim application/config/database.php

wKiom1Mv1xjTGFlxAAI5nqaPTCU047.jpg

 

# vim /data/web/conf/mysqlmtop.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<VirtualHost*:80>
DocumentRoot /data/web/data/frontweb
ServerName mysqlmtop.test.com
DirectoryIndex index.php
AddDefaultCharset UTF-8
 
<LocationMatch"/data/web/.*\.php$">
Order Deny,Allow
Deny from All
</LocationMatch>
 
<Directory/>
AllowOverride ALL
</Directory>
</VirtualHost>

 

# service httpd graceful

 

然后本地hosts绑定（172.18.35.29  mysqlmtop.test.com）

通过 http://mysqlmtop.test.com  即可访问（初始授权账号：admin  admin）

 

8、监控项设置

点击管理中心 --> 应用管理 添加应用

wKioL1Mv1wigRVNXAAISlVlAZek045.jpg

 

点击管理中心 --> 服务器管理 添加 MySQL 服务器

wKiom1Mv1z7CvQ31AANSF6eaqzc356.jpg

 

=========================================================================================

五、效果展示

wKioL1Mv1yORlFCiAAMp5M2Rcc0275.jpg

 

wKioL1Mv1yyA2wTFAAOAopVpBK4974.jpg

 

=========================================================================================

六、后续跟进的事情

1、在原有的基础，增加一些新功能；

2、是否可以将 Cacti + percona-monitoring-plugins 与其进行整合。

 

一、服务器角色

服务器角色

172.18.35.29

10.160.22.14 (MySQL Master)

10.160.22.47 (MySQL Slave)

监控点

YES

NO

NO

被监控点

NO

YES

YES

 

=========================================================================================

二、慢查询配置

1、在被监控服务器安装如下组件

http://cpan.metacpan.org/authors/id/T/TI/TIMB/DBI-1.628.tar.gz

# tar xvzsf DBI-1.628.tar.gz

# cd DBI-1.628

# perl Makefile.PL

# make && make install

 

http://search.cpan.org/CPAN/authors/id/C/CA/CAPTTOFU/DBD-mysql-4.024.tar.gz

# tar xvzf DBD-mysql-4.024.tar.gz

# cd DBD-mysql-4.024

# perl Makefile.PL --mysql_config=/usr/local/mysql/bin/mysql_config --with-mysql=/usr/local/mysql

# make && make install

 

http://search.cpan.org/CPAN/authors/id/S/SU/SULLR/IO-Socket-SSL-1.972.tar.gz

# tar xvzf IO-Socket-SSL-1.972.tar.gz

# cd IO-Socket-SSL-1.972

# perl Makefile.PL

# make && make install

 

http://www.percona.com/redir/downloads/percona-toolkit/LATEST/percona-toolkit-2.2.7.tar.gz

# tar xvzf percona-toolkit-2.2.7.tar.gz

# cd percona-toolkit-2.2.7

# perl Makefile.PL

# make && make install

 

-----------------------------------------------------------------------------------------------------------------------------------------------

2、开启 MySQL 本身的慢查询功能

slow_query_log = 1

slow_query_log_file = /data/dbdata/slow_query.log

long_query_time = 1

 

-----------------------------------------------------------------------------------------------------------------------------------------------

3、在被监控服务器（10.160.22.14）上添加如下 crontab 项

00 * * * * /usr/bin/pt-query-digest --user=mtop_user --password=123456 --port=3306 --review h=172.18.35.29,D=mysqlmtop,t=mysql_slow_query_review_4 --history h=172.18.35.29,D=mysqlmtop,t=mysql_slow_query_review_history_4 --no-report --limit=0% /data/dbdata/slow_query.log>/dev/null 2>&1

 

-----------------------------------------------------------------------------------------------------------------------------------------------

4、在被监控服务器（0.160.22.47）上添加如下 crontab 项

00 * * * * /usr/bin/pt-query-digest --user=mtop_user --password=123456 --port=3306 --review h=172.18.35.29,D=mysqlmtop,t=mysql_slow_query_review_5 --history h=172.18.35.29,D=mysqlmtop,t=mysql_slow_query_review_history_5 --no-report --limit=0% /data/dbdata/slow_query.log>/dev/null 2>&1

 

以上数据表 mysql_slow_query_review、mysql_slow_query_review_history 的后缀为主机 ID，如图：

wKiom1MxqESSghHlAANbfow9RwM308.jpg

 

-----------------------------------------------------------------------------------------------------------------------------------------------

5、为被监控的服务器开启慢查询

wKiom1MxqJeTb91dAAJAFp9ueWk365.jpg

 

-----------------------------------------------------------------------------------------------------------------------------------------------

6、效果展示

wKiom1MxqMCxdZhQAAakiWX5u1g746.jpg

 

=========================================================================================

三、工具组件配置

 

1、在被监控服务器（172.18.35.29）上添加如下 crontab 项

*/30 * * * * cd /usr/local/mysqlmtop; ./check_mysql_widget_bigtable.py >/dev/null 2>&1

*/1 * * * * cd /usr/local/mysqlmtop; ./check_mysql_widget_hit_rate.py >/dev/null 2>&1

*/1 * * * * cd /usr/local/mysqlmtop; ./check_mysql_widget_connect.py >/dev/null 2>&1

 

-----------------------------------------------------------------------------------------------------------------------------------------------

2、效果展示

wKioL1MxqgWSxScQAAJFfv6ZO18733.jpg

 

=========================================================================================

四、资源监控配置

1、被监控服务器上的设置

NET-SNMP服务安装（注意版本）：

ftp://ftp.fi.freebsd.org/pub/FreeBSD/ports/distfiles/net-snmp-5.3.2.tar.gz

# tar xvzf net-snmp-5.3.2.tar.gz

# cd net-snmp-5.3.2

# ./configure --prefix=/usr/local/snmp \

--enable-mfd-rewrites \

--with-default-snmp-version="2" \

--with-sys-contact="lovezym5@qq.com" \

--with-sys-location="China" \

--with-logfile="/var/log/snmpd.log" \

--with-persistent-directory="/var/net-snmp"

 

# make && make install

# cp EXAMPLE.conf /usr/local/snmp/share/snmp/snmpd.conf

 

# vim /usr/local/snmp/share/snmp/snmpd.conf

com2sec notConfigUser  172.18.35.29      mysqlmtop

 

group notConfigGroup v1   notConfigUser

group notConfigGroup v2c  notConfigUser

group notConfigGroup usm  notConfigUser

 

view all    included  .1                               80

access  notConfigGroup ""      any       noauth    exact  all none none

......

 

服务启动：

# /usr/local/snmp/sbin/snmpd -c /usr/local/snmp/share/snmp/snmpd.conf

 

-----------------------------------------------------------------------------------------------------------------------------------------------

2、监控服务器上的设置

NET-SNMP服务安装：

# tar xvzf net-snmp-5.3.2.tar.gz

# cd net-snmp-5.3.2

# ./configure --prefix=/usr/local/snmp \

--enable-mfd-rewrites \

--with-default-snmp-version="2" \

--with-sys-contact="lovezym5@qq.com" \

--with-sys-location="China" \

--with-logfile="/var/log/snmpd.log" \

--with-persistent-directory="/var/net-snmp"

 

# make && make install

 

# cd /usr/local/mysqlmtop

# ln -s /usr/local/snmp/bin/snmpwalk /usr/bin/snmpwalk

# ln -s /usr/local/snmp/bin/snmpdf /usr/bin/snmpdf

 

# vim /usr/local/mysqlmtop/check_linux_resource.sh

host="172.18.35.29"

port="3306"

user="mtop_user"

password="123456"

dbname="mysqlmtop"

......

 

# vim /usr/local/mysqlmtop/etc/config.ini

[linux_server]

server_ip="10.160.22.14|10.160.22.47"

 

重启监控服务：

# mtopctl stop && mtopctl start

 

问题修正（否则无法获取内存信息）：

# vim /usr/local/mysqlmtop/check_linux_resource.sh

totalmem=`/usr/bin/snmpdf -v1 -c mysqlmtop ${ip} | awk '/Real Memory/ {print $3}'`

usedmem=`/usr/bin/snmpdf -v1 -c mysqlmtop ${ip} | awk '/Real Memory/ {print $4}'`

 

crontab 内容添加：

*/1 * * * * cd /usr/local/mysqlmtop; ./check_linux_resource.py >/dev/null 2>&1

 

-----------------------------------------------------------------------------------------------------------------------------------------------

3、效果展示

wKiom1Mxq22jhoPYAAKkjlQ2B8w110.jpg

posted @ 2014-05-18 21:17  milkty  阅读(888)  评论(0)    收藏  举报