张冲andy

摘要：之前介绍了redis cluster的结构及高可用集群部署过程，今天这里简单说下redis集群的迁移。由于之前的redis cluster集群环境部署的服务器性能有限，需要迁移到高配置的服务器上。考虑到是线上生产环境，决定在线迁移，迁移过程，不中断服务。操作过程如下： 一、机器环境 1 2 3 4 阅读全文

摘要：转自 《叶问》是知数堂新设计的互动栏目，不定期给大家提供技术知识小贴士，形式不限，或提问、或讨论均可，并在当天发布答案，让大家轻轻松松利用碎片时间就可以学到最实用的知识点。 知数堂 - 最靠谱、最有品质的培训品牌 http://www.3wedu.net/ 叶问专辑 https://mp.weixi 阅读全文

摘要：1. 常用选项 在Shell中运行以下命令便可得到sysbench的常用选项信息： sysbench --help 上述命令的输出信息如下图所示： 1.1 使用语法 使用sysbench时，可以通过以下语法进行基准测试： sysbench [通用选项]... --test=<测试名称> [测试选项] 阅读全文

摘要：针对系统和数据库压测是项目上线前必做的一项，这里使用的是最新版本的sysbench做的压测使用详解。sysbench可以做系统层面的压力测试（CPU、内存、硬盘IO、互斥锁、Thead），也可以做数据库（MySQL/Oracle/PG）层面的压力测试。安装容易，操作便捷，是压测使用的重要工具之一。一 阅读全文

摘要：链接：http://www.woqutech.com/?p=1116 MySQL 本身通过 show slave status 提供了 Seconds_Behind_Master ，用于衡量主备之间的复制延迟，但是今天碰到了一个场景，发现 Seconds_Behind_Master 为 0 ， 备库 阅读全文

摘要：打开binlog选项后，执行事务提交命令时，就会进入两阶段提交模式。两阶段提交分为prepare阶段和commit两个阶段。流程如下 ：这里面涉及到两个重要的参数：innodb_flush_log_at_trx_commit和sync_binlog，参数可以设置不同的值，具体可以查看mysql的帮助 阅读全文

摘要：myloader恢复主要流程 1、首先由myloader主线程完成建库建表，依次将备份目录下建库和建表文件执行应用到目标数据库实例中； 2、接着myloader主线程会生成多个工作线程，由这些工作线程将所有database.table.*.sql文件中的记录导入到对应表中，这个阶段是并行的，并行粒度 阅读全文

摘要：一、安装 安装依赖包： yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel cmake 下载二进制包： wget https://launchpadlibrarian.net/225370879/mydump 阅读全文

摘要：MySQL5.7之后多了一个备份工具：mysqlpump。它是mysqldump的一个衍生，mysqldump就不多说明了，现在看看mysqlpump到底有了哪些提升，可以查看官方文档，这里针对如何使用做下说明。 mysqlpump和mysqldump一样，属于逻辑备份，备份以SQL形式的文本保存。 阅读全文

摘要：主库：mysqldump -uroot -pmysql -S /tmp/mysql.sock1 --single-transaction --add-drop-database --master-data=1 --all-databases>test_backup.sql 说明：--all-data 阅读全文

摘要：MongoDB Write Concern，简称MongoDB写入安全机制，是一种客户端设置，用于控制写入安全的级别。Write Concern 描述了MongoDB写入到mongod单实例，副本集，以及分片集群时何时应答给客户端。默认情况下，mongoDB文档增删改都会一直等待数据库响应(确认写入 阅读全文

摘要：首先，rollback到底是什么意思呢？在关系型数据库中因为有事务的概念，操作数据后在没有commit之前是可以执行rollback命令进行数据回退的。 而在单实例mongodb中，写入就写入了，删除就删除了，没有事务的概念，也没有rollback的操作，所以这里要讨论的是replicaset（复制 阅读全文

摘要：journal journal 是 MongoDB 存储引擎层的概念，目前 MongoDB主要支持 mmapv1、wiredtiger、mongorocks 等存储引擎，都支持配置journal。 MongoDB 所有的数据写入、读取最终都是调存储引擎层的接口来存储、读取数据，journal 是存储 阅读全文

摘要：一、备份 和之前介绍的 mongoexport 的数据导出工具不同， mongodump 是将数据以二进制形式导出，而 mongoexport 导出的数据格式为 csv 或 json 格式； mongodump 可以导出一个数据库，或者整个 MongoDB 服务上的所有数据库，因此 mongodum 阅读全文

摘要：MySQL工具集openark-kit (官方网站 http://code.openark.org/forge/openark-kit)，内部包含很多小工具,在5.6之前用于实现online ddl操作，本文以CentOS为操作系统，且默认操作系统中已经安装Python环境。 1.0、 安装open 阅读全文

摘要：目录 一、NoSQL简介 1.1 常见的优化思路和方向 1.1.1 MySQL主从读写分离 1.1.2 分库分表 1.2 NoSQL诞生的原因 1.3 分布式系统的挑战 1.3.1关系数据库和NoSQL侧重点 1.4 NoSQL的优缺点 1.5 NoSQL总结 二、NoSQL的分类 2.1 基本分类 阅读全文

摘要：目录 Ansible playbook 简介 Ansible playbook使用场景 Ansible playbook格式 1）格式简介 2）核心元素 3）基本组件 举例 4）variables 部分 ① facts ：可直接调用 ② 用户自定义变量 举例 ③ 通过roles传递变量 ④ Host 阅读全文

摘要：目录 ansible 简介 ansible 是什么？ ansible 特点 ansible 架构图 ansible 任务执行 ansible 任务执行模式 ansible 执行流程 ansible 命令执行过程 ansible 配置详解 ansible 安装方式 使用 pip（python的包管理模 阅读全文

摘要：缓存雪崩 简介：缓存同一时间大面积的失效，所以，后面的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。 解决办法： 事前：尽量保证整个 Redis 集群的高可用性，发现机器宕机尽快补上。选择合适的内存淘汰策略。 事中：本地 Ehcache 缓存 + Hystrix 限流&降级，避免 My 阅读全文

摘要：Redis 和 Memcached区别： Redis 支持更丰富的数据类型（支持更复杂的应用场景）：Redis 不仅仅支持简单的 K/V 类型的数据，同时还提供 list、set、zset、hash 等数据结构的存储。Memcache 支持简单的数据类型 String。 Redis 支持数据的持久化 阅读全文

摘要：在数据量超大的情形下，任何数据库系统在创建索引时都是一个耗时的大工程。MongoDB也不例外。因此，MongoDB索引的创建有两个选择，一个是前台方式，一个是后台方式。那这两种方式有什么差异呢，在创建索引是是否能观察到索引完成的进度呢。本文将是基于此的描述，同时也描述了索引创建相关的注意事项。 一、 阅读全文

摘要：1：oplog简介 oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。 2：副本集数据同步的过程 副本集中数据同步的详细过程：Prim 阅读全文

摘要：Percona XtraDB Cluster有众多的优秀特性，使得mysql集群得以轻松实现。但是不要忽略了它的一些限制。如果你无法接受，或者你的应用程序或数据库(比如使用了memory引擎)对限制无法做出调整，那PXC对你而言是不合适。限制有哪些呢，下文是其描述。 基于PXC的复制仅适用于Inno 阅读全文

摘要：Percona XtraDB Cluster(下称PXC)高可用集群支持任意节点在运行期间的重启，升级或者意外宕机，即它解决了单点故障问题。那在这个意外宕机或者重启期间，该节点丢失的数据如何再次进行同步呢？本文介绍了在节点故障和重启PXC如何实现高可用以及状态快照传输的几种方法优缺点。 一、高可用 阅读全文

摘要：Percona XtraDB集群创建一组线程来为其操作提供服务，这些线程与现有的MySQL线程无关。有三个主要线程组： 一、Applier线程 Applier线程应用从其他节点接收的写入集。写消息直接通过gcv_recv_thread。 使用wsrep_slave_threads变量控制线程的数量。 阅读全文

摘要：系统系统 centos6.5三台服务器：10.100.25.42/43/44安装包： mongodb-linux-x86_64-rhel62-3.4.0.tgz 服务器规划:mongos mongos mongosconfig server config server config serversh 阅读全文

摘要：Redis持久化配置 Redis的持久化有2种方式 1快照 2是日志 Rdb快照的配置选项 save 900 1 // 900内,有1条写入,则产生快照 save 300 1000 // 如果300秒内有1000次写入,则产生快照 save 60 10000 // 如果60秒内有10000次写入,则 阅读全文

摘要：1. 集群 即使有了主从复制，每个数据库都要保存整个集群中的所有数据，容易形成木桶效应。 使用Jedis实现了分片集群，是由客户端控制哪些key数据保存到哪个数据库中，如果在水平扩容时就必须手动进行数据迁移，而且需要将整个集群停止服务，这样做非常不好的。 Redis3.0版本的一大特性就是集群（Cl 阅读全文

摘要：1. MySQL 5.5时代的undo log 在MySQL5.5以及之前，大家会发现随着数据库上线时间越来越长，ibdata1文件（即InnoDB的共享表空间，或者系统表空间）会越来越大，这会造成2个比较明显的问题： （1）磁盘剩余空间越来越小，到后期往往要加磁盘； （2）物理备份时间越来越长，备 阅读全文

摘要：一 介绍 MySQL 5.6版本提供了很多性能优化的特性，其中之一就是 Multi-Range Read 多范围读(MRR) , 它的作用针对基于辅助/第二索引的查询，减少随机IO，并且将随机IO转化为顺序IO，提高查询效率。二 原理 在没有MRR之前,或者没有开启MRR特性时，MySQL 针对基于 阅读全文