天午绝人的博客

oracle mysql sqlserver nosql

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2016年12月7日

摘要: 数据库镜像可以与事务复制一起使用实现数据库整体的高可用性和高性能,其中镜像可以提供故障检测和故障转移,复制则用于实现读写分离。 数据库镜像涉及一个数据库的两个副本,这两个副本通常驻留在不同的计算机上。 在任何给定时间都只有一个数据库副本可供客户端使用。 该副本称为主体数据库。 客户端对主体数据库所做 阅读全文
posted @ 2016-12-07 19:24 天午绝人 阅读(3595) 评论(0) 推荐(1) 编辑

2016年10月27日

摘要: 前篇介绍的redis replication方法,操作步骤多,而且容易出错。在git上看到一些开源工具也能实现同步迁移功能,而且步骤简单,比如redis-port,redis-migrate-tool等工具。实验演示使用redis-migrate-tool,将redis cluster 迁移到一个单 阅读全文
posted @ 2016-10-27 17:58 天午绝人 阅读(6486) 评论(0) 推荐(1) 编辑

摘要: 讲到redis的迁移,一般会使用rdb或者aof在主库做自动重载到目标库方法。但该方法有个问题就是无法保证源节点数据和目标节点数据保持一致,一般线上环境也不允许源库停机,所以要在迁移过程后还要实现同步达到数据的一致性。公司线上环境使用的是redis自己的cluster,每个节点都拥有多个rdb和ao 阅读全文
posted @ 2016-10-27 17:46 天午绝人 阅读(4326) 评论(0) 推荐(0) 编辑

2016年10月24日

摘要: 一、 binary和char比较: binary 字节为单位,char字符为单位,字符占几个字节取决于字符集 binary 比较规则基于字节值,char基于字符,即使是_bin的比较规则 范围都0-255字节,char对于不同字符集,可以存取的字节数不同 排序和比较规则都会根据字符码值,而不是词典顺 阅读全文
posted @ 2016-10-24 17:18 天午绝人 阅读(824) 评论(0) 推荐(0) 编辑

2016年10月14日

摘要: 1、原理 我说的数据修改同步过程指的是在快照生成完毕,分发代理将快照应用于订阅服务器完成订阅服务器初始化后,发布服务器后续的更改同步到订阅服务器过程,这也就是我们常常关注的延迟。此过程主要涉及两个代理,分发代理和日志读取代理,因为我们使用的是推送订阅,所以这两个代理都工作在分发数据库上。首先,日志读 阅读全文
posted @ 2016-10-14 18:01 天午绝人 阅读(2175) 评论(0) 推荐(2) 编辑

摘要: 初始化订阅主要是由分发代理分发和应用快照代理之前生成的快照,所以优化的主体是分发代理。 1、初始化订阅 首先在本地创建一个订阅,发布服务器、分发服务器和订阅服务器都在同一台服务器上,仅为了测试生产环境不要这样做 分发服务器参数配置 初始化订阅运行时间 需要注意几点: 快照代理实际执行的是BCP程序, 阅读全文
posted @ 2016-10-14 17:56 天午绝人 阅读(1815) 评论(0) 推荐(0) 编辑

摘要: 测试数据表量1500w+,使用初始化默认的快照代理参数,复制的三个过程包括快照初始化,订阅初始化和数据修改复制,主要对快照代理、分发代理、日志读取代理分别作了参数优化,并给出优化前后的对照实验测试。 1.初始化快照 在复制监视器中找到快照代理位置,右键,选择代理配置文件: 查看默认配置: 初始化快照 阅读全文
posted @ 2016-10-14 17:39 天午绝人 阅读(2821) 评论(1) 推荐(2) 编辑

摘要: 随着公司业务的发展,数据量增长迅速,在解决Scale Out的同时,还要考虑到主从的复制延迟问题,尽量降到1s以内满足线上业务,如果不调整,SQL Server默认的配置可能平均要3s左右。生产的复制架构采用的是推送方式进行事务复制,发布服务器下面有4个从节点,两两指向同一虚拟IP,构成负载均衡,服 阅读全文
posted @ 2016-10-14 17:28 天午绝人 阅读(2682) 评论(0) 推荐(2) 编辑

2016年9月29日

摘要: 测试是由同事完成的,这里只做收藏。 测试说明: 1、数据量为3kw记录,每条记录11个字段,一个为主键,主键为字符类型,类似:user****,后续为数值 其他10字段为字符类型,100字符,记录长度大约为1KB 2、使用ycsb进行压力测试。具体各类型参考以前文档 3、三千万数据,对目前数据库都能 阅读全文
posted @ 2016-09-29 18:02 天午绝人 阅读(2317) 评论(0) 推荐(0) 编辑

摘要: 首先声明,同事做的实验 使用fio对SATA、SSD、PCIE进行了测试 测试说明: 1、测试命名 sync_write_4k_32 sync表示测试方式,可以是sync或者libaio,sync就是发起IO请求等待IO完成后,此thread继续发起IO请求,实现并发采用fio发起多线程实现;lib 阅读全文
posted @ 2016-09-29 17:28 天午绝人 阅读(3081) 评论(0) 推荐(0) 编辑