2019年5月16日
分布式锁的三种实现方式
摘要： 大多数互联网系统都是分布式部署的，分布式部署确实能带来性能和效率上的提升，但为此，我们就需要多解决一个分布式环境下，数据一致性的问题。 当某个资源在多系统之间，具有共享性的时候，为了保证大家访问这个资源数据是一致的，那么就必须要求在同一时刻只能被一个客户端处理，不能并发的执行，否者就会出现同一时刻有 阅读全文
posted @ 2019-05-16 16:01 xibuhaohao 阅读(409) 评论(0) 推荐(0) 编辑
sharding-jdbc
摘要： sharding-jdbc sharding-jdbc 是一个开源的适用于微服务的分布式数据访问基础类库，它始终以云原生的基础开发套件为目标。 sharding-jdbc定位为轻量级java框架,使用客户端直连数据库,以jar包的形式提供服务,未使用中间层,无需额外部署,并无其他依赖,,可以理解为增 阅读全文
posted @ 2019-05-16 15:40 xibuhaohao 阅读(539) 评论(0) 推荐(0) 编辑
MySQL Proxy 实现 MySQL 读写分离提高并发负载
摘要： 工作拓扑： MySQL Proxy有一项强大功能是实现“读写分离”，基本原理是让主数据库处理写方面事务，让从库处理SELECT查询。 Amoeba for MySQL是一款优秀的中间件软件，同样可以实现读写分离，负载均衡等功能，并且稳定性也高于MySQL Proxy，有兴趣的可以测试一下。 环境描述 阅读全文
posted @ 2019-05-16 15:05 xibuhaohao 阅读(267) 评论(0) 推荐(0) 编辑
2019年5月15日
python 使用流式游标 读取mysql怎么不会内存溢出
摘要： 使用过java读取mysql大数据量的人应该都知道，如果查询时不开游标不设置一次性区大小的话，会一次性的把所有记录都拉取过来再进行后续操作，数据量一大就很容易出现OOM 如果用python去读取mysql也会遇到同样的问题 那么这么在python中来设置使用游标呢 也很简单 这里使用pymysql来 阅读全文
posted @ 2019-05-15 17:59 xibuhaohao 阅读(1029) 评论(0) 推荐(0) 编辑
数据仓库方案
摘要： 为了方便公司的数据分析平台的独立运行和数据挖掘的探索，今年上半年在公司搭建了支持数据平台和数据挖掘的数据仓库；现就数据仓库的创建工作总结如下，供大家参考： 首先介绍下数据仓库搭建的缘由： 公司创建两年，用户量不多，也有几十万吧，就我来的时候，公司功能性平台基本上都有，例如：用户管理平台、订单管理平台 阅读全文
posted @ 2019-05-15 17:16 xibuhaohao 阅读(330) 评论(0) 推荐(0) 编辑
MySQL percona-toolkit工具详解
摘要： 一.检查和安装与Perl相关的模块 PT工具是使用Perl语言编写和执行的，所以需要系统中有Perl环境。 依赖包检查命令为： rpm -qa perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL 如果有依赖包确实，可以使用下面的命令安 阅读全文
posted @ 2019-05-15 16:50 xibuhaohao 阅读(903) 评论(0) 推荐(0) 编辑
percona-toolkit 主从工具 master-slave
摘要： 复制类 pt-heartbeat 监控mysql复制延迟 pt-slave-delay 设定从落后主的时间 pt-slave-find 查找和打印所有mysql复制层级关系 pt-slave-restart 监控salve错误，并尝试重启salve pt-table-checksum 校验主从复制一 阅读全文
posted @ 2019-05-15 16:33 xibuhaohao 阅读(387) 评论(0) 推荐(0) 编辑
MySQL sql join 算发
摘要： 在MySQL中，可以使用批量密钥访问（BKA）连接算法，该算法使用对连接表的索引访问和连接缓冲区。 BKA算法支持：内连接，外连接和半连接操作，包括嵌套外连接。 BKA的优点：更加高效的表扫描提高了连接性能。 此外，先前仅用于内连接的块嵌套循环（BNL）连接算法现已扩展，可用于外连接和半连接操作，包 阅读全文
posted @ 2019-05-15 14:32 xibuhaohao 阅读(250) 评论(0) 推荐(0) 编辑
2019年5月14日
MySQL5.7.6 general tablespace
摘要： 摘要： 从5.7.6开始，增加了一种新的 tablespace模式(成为general tablespace)，实际上它和共享表空间比较类似：创建一个单独的ibd，ibd中包含多个表，兼容不同的格式。general tablespace没有库的概念，因此可以在多个库里建属于同一tablespace的 阅读全文
posted @ 2019-05-14 11:27 xibuhaohao 阅读(204) 评论(0) 推荐(0) 编辑
MySQL Data Directory -- Creating file-per-table tablespaces outside the data directory
摘要： Creating file-per-table tablespaces outside the data directory 一、 Data Directory 1、应对情况 当数据库所在空间不足的时候，通过新增一块磁盘，如何将新建的表放到新建磁盘，就可以用到MySQL的Data Directory 阅读全文
posted @ 2019-05-14 10:41 xibuhaohao 阅读(139) 评论(0) 推荐(0) 编辑
2019年5月10日
MongoDB 比较适用哪些业务场景
摘要： 转载自：https://www.cnblogs.com/williamjie/p/10416294.html 在云栖社区上发起了一个 MongoDB 使用场景及运维管理问题交流探讨的技术话题，有近5000人关注了该话题讨论，这里就 MongoDB 的使用场景做个简单的总结，谈谈什么场景该用 Mong 阅读全文
posted @ 2019-05-10 17:16 xibuhaohao 阅读(340) 评论(0) 推荐(0) 编辑
MongoDB 运维实总结
摘要： 一、MongoDB 集群简介 MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体介绍，可以查看官网 https://docs.mongodb.com/v3.4/introduction/。 [图片上传失 阅读全文
posted @ 2019-05-10 17:12 xibuhaohao 阅读(534) 评论(0) 推荐(0) 编辑
RabbitMq、ActiveMq、Kafka和Redis做Mq对比
摘要： 转载自：https://blog.csdn.net/qiqizhiyun/article/details/79848834 一、RabbitMq RabbitMQ是一个Advanced Message Queuing Protocol（AMQP）的开源实现，由以高性能、可伸缩性出名的Erlang写成 阅读全文
posted @ 2019-05-10 16:33 xibuhaohao 阅读(595) 评论(0) 推荐(0) 编辑
kafka 介绍与使用
摘要： 在介绍为什么使用kafka之前，我们有必要来了解一下什么是kafka？ 1. 什么是kafka？ Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Storm，Spark，Flink都支持与Kafka 阅读全文
posted @ 2019-05-10 16:27 xibuhaohao 阅读(234) 评论(0) 推荐(0) 编辑
为什么会需要消息队列(MQ)？
摘要： 转载：https://www.cnblogs.com/xuyatao/p/6864109.html 为什么会需要消息队列(MQ)？ #################################################################################### 阅读全文
posted @ 2019-05-10 16:15 xibuhaohao 阅读(314) 评论(0) 推荐(0) 编辑
ES 集中式日志分析平台 Elastic Stack（介绍）
摘要： 一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 阅读全文
posted @ 2019-05-10 15:52 xibuhaohao 阅读(5517) 评论(0) 推荐(0) 编辑
使用sysbench对MySQL进行压力测试
摘要： 1.背景 ​出自percona公司，是一款多线程系统压测工具，可以根据影响数据库服务器性能的各种因素来评估系统的性能。例如，可以用来测试文件IO，操作系统调度器，内存分配和传输速度，POSIX线程以及数据库服务器等。sysbench支持Lua脚本语言，Lua对各种测试场景的设置可以非常灵活。sysb 阅读全文
posted @ 2019-05-10 15:01 xibuhaohao 阅读(602) 评论(0) 推荐(0) 编辑
Tpcc-mysql 结果解读
摘要： 原文：https://blog.csdn.net/frockee/article/details/87812329 1. 填坑经验 不要使用tidb的tpcc测试程序（非标准，tidb修改过），使用： https://github.com/Percona-Lab/tpcc-mysql 2. tpcc 阅读全文
posted @ 2019-05-10 14:57 xibuhaohao 阅读(737) 评论(0) 推荐(0) 编辑
SQL审核 Inception 中小团队快速构建SQL自动审核系统
摘要： SQL审核与执行，作为DBA日常工作中相当重要的一环，一直以来我们都是通过人工的方式来处理，效率低且质量没办法保证。为了规范操作，提高效率，我们决定引入目前市面上非常流行的SQL自动审核工具Inception。花了一周看了inception官方文档并搭建了测试环境简单测试，又花了3天写了webui（ 阅读全文
posted @ 2019-05-10 14:40 xibuhaohao 阅读(1013) 评论(0) 推荐(0) 编辑
ELK构建MySQL慢日志收集平台详解
摘要： 转载自：https://mp.weixin.qq.com/s/umH7ImZZVhdfgMdZ3Hz5fA ELK介绍 ELK最早是Elasticsearch（以下简称ES）、Logstash、Kibana三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为E 阅读全文
posted @ 2019-05-10 14:36 xibuhaohao 阅读(342) 评论(0) 推荐(0) 编辑
MySQL 几种性能测试的工具使用
摘要： 近期由于要比较mysql及其分支mariadb, percona的性能，了解了几个这方面的工具，包括：mysqlslap sysbench tpcc-mysql，做一个整理，备忘，分享 1、mysqlslap 安装：简单，装了mysql就有了 作用：模拟并发测试数据库性能。 优点：简单，容易使用。 阅读全文
posted @ 2019-05-10 10:32 xibuhaohao 阅读(416) 评论(0) 推荐(0) 编辑
2019年5月9日
MySQL 8.0.15 配置 MGR单主多从
摘要： 转载自：http://www.cnblogs.com/zhangzihong/p/10443526.html 一、简介 MySQL Group Replication（简称MGR）字面意思是mysql组复制的意思,但其实他是一个高可用的集群架构,暂时只支持mysql5.7和mysql8.0版本. 是 阅读全文
posted @ 2019-05-09 17:44 xibuhaohao 阅读(692) 评论(0) 推荐(0) 编辑
MySQL Group Replication-MGR集群简介
摘要： 简介 MySQL Group Replication（简称MGR）字面意思是mysql组复制的意思,但其实他是一个高可用的集群架构,暂时只支持mysql5.7和mysql8.0版本. 是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案,提供了高可用、高扩展、高可靠的MySQL 阅读全文
posted @ 2019-05-09 17:44 xibuhaohao 阅读(824) 评论(0) 推荐(0) 编辑
MySQL5.7 （审计）通过init_connect + binlog 实现MySQL审计功能
摘要： 转载自：https://blog.51cto.com/13941177/2173620 一、简介 1、概述 mysql本身已经提供了详细的sql执行记录–general log ，但是开启它有以下几个缺点： 1）无论sql有无语法错误，只要执行了就会记录，导致记录大量无用信息，后期的筛选有难度。 2 阅读全文
posted @ 2019-05-09 16:07 xibuhaohao 阅读(386) 评论(0) 推荐(0) 编辑
MySQL5.7 （审计）安装audit审计插件
摘要： 转载自：https://blog.51cto.com/13941177/2173086 注意： 安装插件的方式优缺点： 缺点：日志信息比较大，对性能影响大。 优点：对每一时刻每一用户的操作都有记录。 搭建过程： 到网站(https://bintray.com/version/files/mcafee 阅读全文
posted @ 2019-05-09 16:06 xibuhaohao 阅读(3009) 评论(0) 推荐(0) 编辑
MySQL 8.0.3性能大杀器 —— CATS 事务调度新算发
摘要： 转载自：https://www.sohu.com/a/203933205_487483?sec=wd&spm=smpc.author.fd-d.2.1557386676880JSjtJwV 好多同学后台留言说姜老师最近技术文章写得少，主要原因是换了新工作之后正在熟悉相关业务，调整数据库架构，MGR调 阅读全文
posted @ 2019-05-09 15:33 xibuhaohao 阅读(435) 评论(0) 推荐(0) 编辑
MySQL 5.7 GTID OOM bug案例分析 --大量压测后主从不同步
摘要： 转载自：http://www.sohu.com/a/231766385_487483 MySQL 5.7是十年内最为经典的版本，这个观点区区已经表示过很多次。然而，经典也是由不断地迭代所打造的传奇。5.7给我印象最深的莫过于各种OOM，比如线程池、XA事务、information_schema等OO 阅读全文
posted @ 2019-05-09 15:20 xibuhaohao 阅读(226) 评论(0) 推荐(0) 编辑
MySQL 5.7 OOM问题诊断——就是这么简单
摘要： 转载自：http://www.sohu.com/a/114903225_487483 Inside君最近把金庸先生的笑傲江湖重看了三遍，感慨良多。很多工作、管理、生活、学习上的问题都能在其中一窥究竟，而那是年轻时所不能体会的一种感悟。比如下面的这段话： 转载自：http://www.sohu.com 阅读全文
posted @ 2019-05-09 14:54 xibuhaohao 阅读(896) 评论(0) 推荐(0) 编辑
2019年5月7日
Oracle 11g关闭用户连接审计
摘要： sys.aud$表数据量增长较快。这时，不想关闭数据库的审计，但是又不想频繁的清理sys.aud$表。可进行如下操作关闭数据库连接的审计 noaudit connect; 阅读全文
posted @ 2019-05-07 17:46 xibuhaohao 阅读(441) 评论(0) 推荐(0) 编辑
Oracle 数据库SQL审计
摘要： 在我们日常的工作中，一些安全性的要求高的数据库需要增加审计操作，哪个用户什么时间做了什么操作。 1.打开数据库的审计 2.对数据库重启并查看 3.增加审计策略我们需要对数据库的caiwu用户的所有操作进行审计 或者 4.取消审计 5.查询审计结果 6.将审计表查询开放给某个用户grant selec 阅读全文
posted @ 2019-05-07 16:47 xibuhaohao 阅读(464) 评论(0) 推荐(0) 编辑
Oracle 审计 部署监控 user DML操作
摘要： 1、移动audit表及索引到dbadmin表空间 alter table aud$ move tablespace DBADMIN;alter table AUDIT$ move tablespace DBADMIN;alter index I_AUDIT rebuild online tables 阅读全文
posted @ 2019-05-07 16:24 xibuhaohao 阅读(334) 评论(0) 推荐(0) 编辑
2019年5月6日
MySQL 一次非常有意思的SQL优化经历:从30248.271s到0.001s
摘要： 转载自：https://www.toutiao.com/i6668275333034148356 一、背景介绍 用的数据库是mysql5.6，下面简单的介绍下场景 课程表： 数据100条 学生表： 数据70000条 学生成绩表SC： 数据70w条 查询目的： 二、问题：查找语文考100分的考生 查询 阅读全文
posted @ 2019-05-06 11:42 xibuhaohao 阅读(239) 评论(0) 推荐(0) 编辑
2019年5月4日
Oracle 11g 自动收集统计信息
摘要： 一、开启与关闭自动收集统计信息 1、查看是否开启 select client_name,status from dba_autotask_client; 2、开启 exec DBMS_AUTO_TASK_ADMIN.ENABLE(client_name => 'auto optimizer stat 阅读全文
posted @ 2019-05-04 15:37 xibuhaohao 阅读(754) 评论(0) 推荐(0) 编辑
2019年4月30日
Mydumper介绍
摘要： 转载自：https://www.cnblogs.com/abclife/p/7755031.html Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。 一、My 阅读全文
posted @ 2019-04-30 16:08 xibuhaohao 阅读(326) 评论(0) 推荐(0) 编辑
MySQL 优化--持续整理
摘要： 一、innodb体系结构优化: 1、IO优化 IO能力不足时 innodb_io_capacity 应该降低 innodb_max_dirty_pages_pct 应该降低 innodb_max_dirty_pages_pct_lwm 如果设置了应该考虑降低 innodb_read_io_threa 阅读全文
posted @ 2019-04-30 15:13 xibuhaohao 阅读(179) 评论(0) 推荐(0) 编辑
MySQL Multi-Range Read（MRR 索引多范围查找） 原理与解析
摘要： 原理： 如果基表很大，数据没有被缓存，在二级索引上使用范围扫描读取行可能会导致大量的随机磁盘访问。使用Multi-Range Read新特性，mysql可以减少对磁盘的随机读的次数：首先，mysql只是扫描索引，收集相关行的keys；然后，将收集到的keys进行排序；最后通过有序的主键去访问基表。 阅读全文
posted @ 2019-04-30 15:10 xibuhaohao 阅读(592) 评论(0) 推荐(0) 编辑
MySQL Index Condition Pushdown 原理与解析
摘要： Index Condition Pushdown(ICP)是针对mysql使用索引从表中检索行数据时的一种优化方法。 原理： 在没有ICP特性之前，存储引擎根据索引去基表查找并将数据返回给mysql server，mysql server再根据where条件进行数据过滤。 有了ICP之后，在取出索引 阅读全文
posted @ 2019-04-30 15:06 xibuhaohao 阅读(389) 评论(0) 推荐(0) 编辑
2019年4月26日
Mysql 源码：关于innodb中两次写的探索
摘要： 转载自：http://www.cnblogs.com/bamboos/p/3553703.html?utm_source=tuicool&utm_medium=referral 两次写可以说是在Innodb中很独特的一个功能点，而关于它的说明或者解释非常少，至于它存在的原因更没有多少文章来说，所以我 阅读全文
posted @ 2019-04-26 14:54 xibuhaohao 阅读(163) 评论(0) 推荐(0) 编辑
Mysql 了解changeBuffer 与 purge 调优
摘要： 需要删除、新增记录或更新一个数据页时，如果数据页在内存中就直接更新，而如果这个数据页还没有在内存中的话，在不影响数据一致性的前提下，InooDB 会将这些更新操作缓存在 change buffer中，这样就不需要从磁盘中读入这个数据页了。 purge：将 change buffer 中的操作应用到原 阅读全文
posted @ 2019-04-26 10:20 xibuhaohao 阅读(665) 评论(0) 推荐(0) 编辑
2019年4月25日
MySQL · 性能优化· 5.7.6 InnoDB page flush 优化
摘要： 在这篇文中，我们已经详细介绍了Oracle MySQL以及社区分支最新的对InnoDB page flush的优化。在最近release的5.7.6版本中又有了进一步的改进。主要包括以下几点修改 修改一、更精确的loop时间 Page cleaner每做srv_flushing_avg_loops次 阅读全文
posted @ 2019-04-25 11:58 xibuhaohao 阅读(466) 评论(0) 推荐(0) 编辑