DBA's Record

摘要： 目的 因为业务架构上需要实现读写分离，刚好前段时间美团点评开源了在360Atlas基础上开发的读写分离中间件DBProxy，关于其介绍在官方文档已经有很详细的说明了，其特性主要有：读写分离、负载均衡、支持分表、IP过滤、sql语句黑名单、DBA平滑下线DB、从库流量配置、动态加载配置项。本文大致简单 阅读全文

摘要： 背景： Open-Falcon 是小米运维部开源的一款互联网企业级监控系统解决方案，具体的安装和使用说明请见官网：http://open-falcon.org/，是一款比较全的监控。而且提供各种API，只需要把数据按照规定给出就能出图，以及报警、集群支持等等。 监控： 1) MySQL 收集信息脚本 阅读全文

摘要： 背景： 关于MySQL的审核的重要性就不说明了，本文的自动化审核是通过Inception和SQLAdvisor实现的，具体的使用可以看它们各自的说明文档。这里大致介绍下如何部署和使用它们，其实该文章也可以说成是如何在ubuntu下安装Inception和SQLAdivsor。本文的web平台是通过p 阅读全文

摘要： 本文来自：https://github.com/Qihoo360/mysql-sniffer 简介 MySQL Sniffer 是一个基于 MySQL 协议的抓包工具，实时抓取 MySQLServer 端的请求，并格式化输出。输出内容包访问括时间、访问用户、来源 IP、访问 Database、命令耗 阅读全文

摘要： 背景： Redis 3.0之后支持了Cluster，大大增强了Redis水平扩展的能力。Redis Cluster是Redis官方的集群实现方案，在此之前已经有第三方Redis集群解决方案，如Twenproxy、Codis，与其不同的是：Redis Cluster并非使用Porxy的模式来连接集群节 阅读全文

摘要： 背景： 之前通过Redis Sentinel 高可用实现说明和Redis 复制、Sentinel的搭建和原理说明大致已经介绍了sentinel的原理和实现，本文再次做个简单的回顾，具体的信息见前面的两篇文章说明。本文要实现的sentinel是通过2个redis数据节点和3个sentinel节点来达到 阅读全文

摘要： 本文来自：http://baiyangtx.net/2016/09/04/mydumper-principle/ 相对于MySQL官方提供的逻辑备份工具 mysqldump ， mydumper最大的特点就是可以采用多线程并行备份，大大提高了数据导出的速度。这里对mydumper的工作原理做个分析， 阅读全文

摘要： 背景： 项目中遇到有些脚本需要通过后台进程运行，保证不被异常中断，之前都是通过nohup、&、screen来实现，带着能否做一个start/stop/restart/reload的服务启动的想法找到里Supervisor。关于supervisor的介绍在网上大致搜索总结如下： Supervisor是 阅读全文

摘要： 背景： 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令，对于处理大文件受CPU，IO等因素影响，对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理，本文将介绍通过python的mmap模块来实现对大文件的处理，来对比看他们的差异。 说明： mmap是一种虚拟内存 阅读全文

摘要： 背景： 关于Fabric的介绍，可以看官网说明。简单来说主要功能就是一个基于Python的服务器批量管理库/工具，Fabric 使用 ssh（通过 paramiko 库）在多个服务器上批量执行任务、上传、下载。在使用Fabric之前，都用Python的paramiko模块来实现需求，相比之后发现Fa 阅读全文