摘要：遇到一个尴尬的问题，SSMS的GridView对于大字段的（varchar(max)，text之类的），支持不太友好的，超过8000个长度之外的字符，SSMS的表格是显示不出来的（当然也就看不到了），也是无法直接导出来的（超过8000个之外的字符的）这种问题在别人遇到来求助的时候，是不可忍受的，于是
阅读全文
摘要：一直以为很了解sqlserver的加锁过程，在分析一些特殊情况下的死锁之后，尤其是并发单表操作发生的死锁，对于加解锁的过程，有了一些重新的认识，之前的知识还是有一些盲区在里面的。delete加锁与解锁步骤是怎么样的？什么时候对那些对象，加什么类型的琐，加锁与索引的关系是怎么样的，什么时候释放锁？整个
阅读全文
摘要：什么是布隆过滤器？它实际上是一个很长的二进制向量和一系列随机映射函数。把一个目标元素通过多个hash函数的计算，将多个随机计算出的结果映射到不同的二进制向量的位中，以此来间接标记一个元素是否存在于一个集合中。布隆过滤器可以做什么？布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查
阅读全文
摘要：Redis实例安装 安装说明：自动解压缩安装包，按照指定路径编译安装，复制配置文件模板到Redis实例路的数据径下，根据端口号修改配置文件模板 三个必须文件：1，配置文件,2，当前shell脚本,3，安装包 参数1：basedir,redis安装包路径 参数2：安装实例路径 参数3：安装包名称 参数
阅读全文
摘要：周末在一台MySQL实例上频繁做大批量的写入测试，无意中发现MySQL的errorlog中频繁出现如下的Note：page_cleaner: 1000ms intended loop took **** ms. The settings might not be optimal. (flushed=
阅读全文
摘要：某DBA大师曾说过，一个DBA要像了解自己的老婆一样了解自己管理的数据库，个人认为包含了两个方面的了解： 1，在稳定性层面来说，更多的是关注高可用、读写分离、负载均衡，灾备管理等等high level层面的措施（就好比要保证生活的稳定性） 2，在实例级别的来说，需要关注内存、IO、网络，热点表，热点
阅读全文
摘要：/*the waiting game:尽管人生如此艰难，不要放弃；不要妥协；不要失去希望*/ 随着MySQL MGR的版本的升级以及技术成熟，在把MHA拉下神坛之后， MGR越来越成为MySQL高可用的首选方案。MGR的搭建并不算很复杂，但是有一系列手工操作步骤，为了简便MGR的搭建和故障诊断，这里
阅读全文
摘要：基于MySQL Router可以实现高可用，读写分离，负载均衡之类的，MySQL Router可以说是非常轻量级的一个中间件了。看了一下MySQL Router的原理，其实并不复杂，原理也并不难理解，其实就是一个类似于VIP的代理功能，其中一个MySQL Router有两个端口号，分别是对读和写的转
阅读全文
摘要：xtrabackup是一个MySQL备份还原的常用工具，实际使用过程应该都是shell或者python封装的自动化脚本，尤其是备份。对还原来说，对于基于完整和增量备份的还原，还原差异备份需要指定增量备份等等一系列容易出错的手工操作，以及binlog的还原等，如果纯手工操作的话非常麻烦。即便是你记性非
阅读全文
摘要：保留个原文链接，避免被爬虫爬了过去，以便后续更正补充：https://www.cnblogs.com/wy123/p/11273023.html MySQL参数繁多，是一个需要根据具体业务、软硬件环境、负载压力、性能需求、数据异常的容忍程度等等信息综合考量的结果，不是一成不变的（当然，某些参数保持默
阅读全文
摘要：Redis的List数据类型作为消息队列，已经比较合适了，但存在一些不足，比如只能独立消费，订阅发布又无法支持数据的持久化，相对前两者，Redis Stream作为消息队列的使用更为有优势。 相信球迷小伙伴们对文字直播这个东西都不陌生，时常在想，这个功能是怎么实现的？ 具体说就是用什么技术实现最为合
阅读全文
摘要：在Redis上，可以通过对key值的独占来实现分布式锁，表面上看，Redis可以简单快捷通过set key这一独占的方式来实现，也有许多重复性轮子，但实际情况并非如此。总得来说，Redis实现分布式锁，如何确保锁资源的安全&及时释放，是分布式锁的最关键因素。如下逐层分析Redis实现分布式锁的一些过
阅读全文
摘要：缘由 日常工作中经常遇到类似的问题：把某个服务器上的某些指定的表同步到另外一台服务器。类似需求用SSIS或者其他ETL工作很容易实现，比如用SSIS的话就可以，但会存在相当一部分反复的手工操作。建源的数据库信息，目标的数据库信息，如果是多个表，需要一个一个地拉source和target，然后一个一个
阅读全文
摘要：Redis中有一个经典的问题，在巨大的数据量的情况下，做类似于查找符合某种规则的Key的信息，这里就有两种方式，一是keys命令，简单粗暴，由于Redis单线程这一特性，keys命令是以阻塞的方式执行的，keys是以遍历的方式实现的复杂度是 O(n），Redis库中的key越多，查找实现代价越大，产
阅读全文
摘要：与MySQL主从复制，从节点可以分担部分读压力不一样，甚至可以增加slave或者slave的slave来分担读压力，Redis集群中的从节点，默认是不分担读请求的，从节点只作为主节点的备份，仅负责故障转移。如果是主节点读写压力过大，可以通过增加集群节点数量的方式来分担压力。 以下简单测试Redis集
阅读全文
摘要：sqlserver 的筛选索引（filter index）与常规的非筛选索引，加了一定的filter条件，可以按照某些条件对表中的字段进行索引，但是filter 索引在查询 使用上，并不等同于常规的索引，如果忽略了这些差异，可能会造成潜在的问题，因此在使用filter索引的时候，一定要结合具体的查询
阅读全文
摘要：提到死锁，最最常规的场景之一是Session1 以排它锁的方式锁定A表，请求B表，session2以排它锁的方式锁定B表，请求A表之类的，访问顺序不一致导致死锁的情况本文通过简化，测试这样一种稍显特殊的场景：对同一张表，并发update其中的多行记录引起的死锁，同时简单分析，对于update操作的加
阅读全文
摘要：众所周知，在sqlserver中，表变量最大的特性之一就是没有统计信息，无法较为准备预估其数据分布情况，因此不适合参与较为复杂的SQL运算。当SQL相对简单的时候，使用表变量，在某些场景下，即便是对表变量的预估没有产生偏差的情况下，仍旧会有问题。sqlserver的优化引擎对于表变量的支持十分不友好
阅读全文
摘要：在Redis中，与Sentinel（哨兵）实现的高可用相比，集群（cluster）更多的是强调数据的分片或者是节点的伸缩性，如果在集群的主节点上加入对应的从节点，集群还可以自动故障转移，因此相比Sentinel（哨兵）还是有不少优势的。以下简单测试Redis的集群（单机多实例的模式），来体验一下集群
阅读全文
摘要：Redis给人的印象是简单、很快，但是不代表它不需要关注它的性能指标，此文简单地介绍了一部分Redis性能指标.翻译过程中加入了自己延伸的一些疑问信息，仍然还有一些东西没有完全弄明白。原文中Metric to watch *** 和 Metric to alert on ***这里翻译为需要观察的指
阅读全文
摘要：pip在线安装十分方便，有时候某些服务器并没有直接联网，需要下载好安装包上传到服务器上进行安装，不经常用，还是有点小麻烦的。 安装Python之后，将下载好的安装包包放在Python安装的根目录下使用pip install packagename 安装，提示Requirement 'pymssql-
阅读全文
摘要：MongoDB有主从复制和副本集两种主从复制模式，主从复制最大的问题就是无法自动故障转移，MongoDB副本集解决了主从模式无法自动故障转义的特点，因此是复制的首选。对于简单的主从复制无法自动故障转移的缺陷，各个数据库都在改进，MySQL推出的MGR，Redis的哨兵，Mongodb的复制集。 对于
阅读全文
摘要：dbpath下是清一色的collection-n-***与index-n-***开头的物理文件，如何知道某一个集合与其对应与其对应的物理文件？ db.collection_name.stats() 返回的结果包含集合数据对应的物理文件 db.collection_name.stats({indexD
阅读全文
摘要：Redis的哨兵机制中，如果是多哨兵模式，哨兵节点之间也是可以相互感知的，各种搜索之后出来的是千篇一律的一个基础配置文件，在配置当前哨兵节点的配置文件中，并没有配置其他哨兵节点的任何信息。如下是一个哨兵节点的配置信息，可以看到，哨兵与哨兵之间没有任何配置，死活想不明白，哨兵之间是如何自动识别的。 参
阅读全文
摘要：Redis的数据类型从整体上看，都是Key-Value键值对的模型，数据类型更确切地说，应该是Value的数据类型，比如string，set，list等，都是key值对应的Value的数据集合格式。不同数据类型的不同之处在于Value存储的格式不一样。 整体上看，Redis¹数据类型相对比较简单，²
阅读全文
摘要：公众号上转的满天飞的一篇文章，MySQL优化相关的，无意中瞄到一句“尽量使用TIMESTAMP而非DATETIME”，之前对TIMESTAMP也不太熟悉，很少使用，于是查了一下两者的区别。 其实，不管在SQL Server中还是MySQL中，“尽量使用TIMESTAMP而非DATETIME”都是有问
阅读全文
摘要：slowlog Redis慢查询 slowlog 参数 slowlog-log-slower-than： 慢查询时间阈值，超过这个阈值的查询将会被记录，默认值10000，但是微妙，也即10毫秒。 slowlog-max-len：慢查询日志最大条数，默认值128，先进先出的队列的形式记录在内存中。 s
阅读全文
摘要：分区的作用分区是将一个表的数据按照某种方式，比如按照时间上的月份，分成多个较小的，更容易管理的部分，但是逻辑上仍是一个表。个人理解起来，分区跟性能没有必然关系，分区更多的是从管理的角度出发的。 MySQL分区表对分区字段的限制分区的字段，必须是表上所有的唯一索引（或者主键索引）包含的字段的子集换句话
阅读全文
摘要：启动多个Redis实例，如果是在单机下，复制出来两份Redis编译后的文件 cp -r /usr/local/redis5/ /usr/local/redis5_1 cp -r /usr/local/redis5/ /usr/local/redis5_2 如果实在单机下做测试，跑多个Redis服务的
阅读全文
摘要：启用密码 配置密码，配置文件中添加节点requirepass，如下root即passwordrequirepass root可以在登陆的时候用-a 指定password登陆，也可以不指定，登陆之后使用auth执行密码 备份还原 RBD的方式（Redis DataBase） 严格说Redis中的sav
阅读全文
摘要：Redis物理文件结构 对于数据库，个人习惯先从物理结构文件入手，整体上看一下有哪些文件，都是什么作用。类似于MySQL，数据文件和配置文件是Redis最基本也是做主要的两个物理文件之一，相比MySQL或者其他数据库，Redis的相关的物理文件相当的简单。与MySQL眼花缭乱的各种数据文件，日志文件
阅读全文
摘要：Errorlog或者是运行日志是任何一个软件的运行中异常诊断必看的文件之一，折腾Redis的过程中以为有默认的错误日志（或启动日志），不过一直没有发现类似的日志文件，在看了默认的配置文件之后，发现Redis默认并没有配置ErrorLog，上面写的很清楚，如果没有指定logfile（的路径），logs
阅读全文
摘要：系统学习一下，记录一下笔记，之前都是断断续续尝试过一些简单的安装使用 下载，解压 编译安装 copy配置文件 启动连接 ./bin/redis-server ./redis.conf 登陆./bin/redis-cli -h 127.0.0.1 -p 8000关闭./bin/redis-cli -h
阅读全文
摘要：20190701：感谢@接天居士的提示，在多核心CPU的配置环境下测试，确实是有差异的，感谢纠错，本来想删除这篇文章的，留着当错教训吧，测试环境差异造成的错误教训 对于innodb_autoinc_lock_mode 各种参数的值的含义，网上也有各种详解，看完觉得意犹未尽，这里不做阐述，只动手测试，
阅读全文
摘要：最近遇到的死锁问题都发生在并发操作单张表上，比较有意思，就模拟了重现了一下。根据非聚集索引为条件，删除某一个表的数据，类似于这么一个语句，delete from table where nocluster_index in (x,y,z,m,n……)in里面的内容不同，并发执行某些情况下，可能会引发
阅读全文
摘要：直方图是表上某个字段在按照一定百分比和规律采样后的数据分布的一种描述，最重要的作用之一就是根据查询条件，预估符合条件的数据量，为sql执行计划的生成提供重要的依据在MySQL 8.0之前的版本中，MySQL仅有一个简单的统计信息却没有直方图，没有直方图的统计信息可以说是没有任何意义的。MySQL 8
阅读全文
摘要：译者注：MySQL 8.0之前，不管是否指定索引建的排序方式，都会忽略创建索引时候指定的排序方式（语法上不会报错），最终都会创建为ASC方式的索引，在执行查询的时候，只存在forwarded（正向）方式对索引进行扫描。关于正向索引和反向索引，逻辑上很容易理解，这里有两个相关的概念：正向索引或者反向（
阅读全文
摘要：原文出处：https://www.infoworld.com/article/3210905/sql/10-essential-performance-tips-for-mysql.html MySQL的10个基本性能技巧 与所有的关系数据库一样，MySQL正如一头怪兽一般， 它可能会在接到通知的一
阅读全文
摘要：一个大的SQL语句操作，执行计划中包含了一个merge join操作，观察到SQL长时间处于IO_COMPLETION等待状态，如果是读取相关的表的数据，服务器应该全力为其服务，但是服务器的物理IO又远远没有达到瓶颈。这个IO_COMPLETION到底是在做什么？是表的数据页IO请求还在其他操作？如
阅读全文
