随笔分类 - 数据库
摘要：
1 背景与目标 1.1 背景 国际财务泰国每月月初账单任务生成，或者重算账单数据，数据同步方案为mysql通过binlake同步ES数据，在同步过程中发现计费事件表，计费结果表均有延迟，ES数据与Mysql数据不一致，导致业务页面查询数据不准确，部分核心计算通过ES校验失败 1.2目标 解决binl
阅读全文
1 背景与目标 1.1 背景 国际财务泰国每月月初账单任务生成，或者重算账单数据，数据同步方案为mysql通过binlake同步ES数据，在同步过程中发现计费事件表，计费结果表均有延迟，ES数据与Mysql数据不一致，导致业务页面查询数据不准确，部分核心计算通过ES校验失败 1.2目标 解决binl
阅读全文
摘要：
Elasticsearch在db_ranking 的排名又（双叒叕）上升了一位,如图1-1所示;由此可见es在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？今天我们就特地来聊聊ES降本增效的常见方法。
阅读全文
Elasticsearch在db_ranking 的排名又（双叒叕）上升了一位,如图1-1所示;由此可见es在存储领域已经蔚然成风且占有非常重要的地位。随着Elasticsearch越来越受欢迎，企业花费在ES建设上的成本自然也不少。那如何减少ES的成本呢？今天我们就特地来聊聊ES降本增效的常见方法。
阅读全文
摘要：
1 引言 之前介绍了Redis的数据存储及String类型的实现，接下来再来看下List、Hash、Set及Sorted Set的数据结构的实现。 2 List List类型通常被用作异步消息队列、文章列表查询等；存储有序可重复数据或做为简单的消息推送机制时，可以使用Redis的List类型。对于这
阅读全文
1 引言 之前介绍了Redis的数据存储及String类型的实现，接下来再来看下List、Hash、Set及Sorted Set的数据结构的实现。 2 List List类型通常被用作异步消息队列、文章列表查询等；存储有序可重复数据或做为简单的消息推送机制时，可以使用Redis的List类型。对于这
阅读全文
摘要：
京东云TiDB SQL层的背景介绍 从总体上概括 TiDB 和 MySQL 兼容策略，如下表： SQL层的架构 用户的 SQL 请求会直接或者通过 Load Balancer 发送到 京东云TiDB Server，TiDB Server 会解析 MySQL Protocol Packet，获取请求内
阅读全文
京东云TiDB SQL层的背景介绍 从总体上概括 TiDB 和 MySQL 兼容策略，如下表： SQL层的架构 用户的 SQL 请求会直接或者通过 Load Balancer 发送到 京东云TiDB Server，TiDB Server 会解析 MySQL Protocol Packet，获取请求内
阅读全文
摘要：
本文介绍了几个常见的匹配算法，通过算法过程和算法分析介绍了各个算法的优缺点和使用场景，并为后续的搜索文章做个铺垫；读者可以通过比较几种算法的差异，进一步了解匹配算法演进过程以及解决问题的场景；KMP算法和Double-Array TireTree是其中算法思想的集大成者，希望读者重点关注。
阅读全文
本文介绍了几个常见的匹配算法，通过算法过程和算法分析介绍了各个算法的优缺点和使用场景，并为后续的搜索文章做个铺垫；读者可以通过比较几种算法的差异，进一步了解匹配算法演进过程以及解决问题的场景；KMP算法和Double-Array TireTree是其中算法思想的集大成者，希望读者重点关注。
阅读全文
摘要：
我们平时会写各种各样或简单或复杂的sql语句，提交后就会得到我们想要的结果集。比如sql语句，”select * from t_user where user_id > 10;”，意在从表t_user中筛选出user_id大于10的所有记录。你有没有想过从一条sql到一个结果集，这中间经历了多少坎坷呢？
阅读全文
我们平时会写各种各样或简单或复杂的sql语句，提交后就会得到我们想要的结果集。比如sql语句，”select * from t_user where user_id > 10;”，意在从表t_user中筛选出user_id大于10的所有记录。你有没有想过从一条sql到一个结果集，这中间经历了多少坎坷呢？
阅读全文
摘要：
1 UData-解决数据使用的最后一公里 1.1 背景 在大数据的范畴，我们经历了数据产业化的历程，从各个生产系统将数据收集起来，经过实时和离线的数据处理最终汇集在一起，成为我们的主题域数据，下一步挖掘数据的价值将成为关键。 数据应用直接体现数据的价值，数据应用多种多样，它们使用数据的方式也各不相同
阅读全文
1 UData-解决数据使用的最后一公里 1.1 背景 在大数据的范畴，我们经历了数据产业化的历程，从各个生产系统将数据收集起来，经过实时和离线的数据处理最终汇集在一起，成为我们的主题域数据，下一步挖掘数据的价值将成为关键。 数据应用直接体现数据的价值，数据应用多种多样，它们使用数据的方式也各不相同
阅读全文
摘要：
最近在用rust 写一个redis的数据校验工具。redis-rs中具备 redis::ConnectionLike trait，借助它可以较好的来抽象校验过程。在开发中，不免要定义struct 中的某些元素为 trait object，从而带来一些rust语言中的生命周期问题。 本文不具体讨论 r
阅读全文
最近在用rust 写一个redis的数据校验工具。redis-rs中具备 redis::ConnectionLike trait，借助它可以较好的来抽象校验过程。在开发中，不免要定义struct 中的某些元素为 trait object，从而带来一些rust语言中的生命周期问题。 本文不具体讨论 r
阅读全文
摘要：
一、背景 公司基于业务发展以及战略部署，需要实现在多个数据中心单元化部署，一方面可以实现多数据中心容灾，另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话，需要各个数据中心拥有一致的全量数据，如果真正实现用户就近读写，也就是实现真正的业务异地多活，数据同步是异地多活的基础，
阅读全文
一、背景 公司基于业务发展以及战略部署，需要实现在多个数据中心单元化部署，一方面可以实现多数据中心容灾，另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话，需要各个数据中心拥有一致的全量数据，如果真正实现用户就近读写，也就是实现真正的业务异地多活，数据同步是异地多活的基础，
阅读全文
摘要：
1 导读 数据的一致性是数据准确的重要指标，那如何实现数据的一致性呢？本文从事务特性和事务级别的角度和大家一起学习如何实现数据的读写一致性。 2 一致性 1.数据的一致性：通常指关联数据之间的逻辑关系是否正确和完整。 举个例子：某系统实现读写分离，读数据库是写数据库的备份库，小李在系统中之前录入的学
阅读全文
1 导读 数据的一致性是数据准确的重要指标，那如何实现数据的一致性呢？本文从事务特性和事务级别的角度和大家一起学习如何实现数据的读写一致性。 2 一致性 1.数据的一致性：通常指关联数据之间的逻辑关系是否正确和完整。 举个例子：某系统实现读写分离，读数据库是写数据库的备份库，小李在系统中之前录入的学
阅读全文
摘要：
使用过Redis事务的应该清楚，Redis事务实现是通过打包多条命令，单独的隔离操作，事务中的所有命令都会按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。事务中的命令要么全部被执行，要么全部都不执行（原子操作）。但其中有命令因业务原因执行失败并不会阻断后续命令的执行，且也无法回滚已经执行过的命令。如果想要实现和MySQL一样的事务处理可以使用Lua脚本来实现，Lua脚本中可实现简单的逻辑判断，执行中止等操作。
阅读全文
使用过Redis事务的应该清楚，Redis事务实现是通过打包多条命令，单独的隔离操作，事务中的所有命令都会按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。事务中的命令要么全部被执行，要么全部都不执行（原子操作）。但其中有命令因业务原因执行失败并不会阻断后续命令的执行，且也无法回滚已经执行过的命令。如果想要实现和MySQL一样的事务处理可以使用Lua脚本来实现，Lua脚本中可实现简单的逻辑判断，执行中止等操作。
阅读全文
摘要：日常开发我们对一条DML语句较为熟悉，很多开发人员都了解sql的执行过程，比较熟悉，但是DDL是如何执行的呢，大部分开发人员可能不太关心，也认为没必要了解，都交给DBA吧。 其实不然，了解一些能尽量避开一些ddl的坑，那么下面带大家一起了解一下DDL执行的方式，。
阅读全文
摘要：
对于一个服务端开发来说 MYSQL 可能是他使用最熟悉的数据库工具，然而，大部分的Java工程师对MySQL的了解和掌握程度，大致就停留在这么一个阶段:它可以建库、建表、建索引，然后就是对里面的数据进行增删改查，语句性能有点差？没关系，在表里建几个索引或者调整一下查询逻辑就可以了，一条sql，MYSQL是如何处理的，为我们做了什么，完全是个黑盒。本文主要通过sql执行的过程打破这样一个黑盒的认知，来了解MYSQL的逻辑架构。
阅读全文
对于一个服务端开发来说 MYSQL 可能是他使用最熟悉的数据库工具，然而，大部分的Java工程师对MySQL的了解和掌握程度，大致就停留在这么一个阶段:它可以建库、建表、建索引，然后就是对里面的数据进行增删改查，语句性能有点差？没关系，在表里建几个索引或者调整一下查询逻辑就可以了，一条sql，MYSQL是如何处理的，为我们做了什么，完全是个黑盒。本文主要通过sql执行的过程打破这样一个黑盒的认知，来了解MYSQL的逻辑架构。
阅读全文
摘要：
在数字化时代的今天，我们都认同数据会创造价值。为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而在这纵横交错的数据网络中，逻辑复制扮演着及其重要的角色。
让我们将视角从复杂的网络拉回其中的一个端点，从PostgreSQL出发，对其逻辑复制的原理进行解密。
阅读全文
在数字化时代的今天，我们都认同数据会创造价值。为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而在这纵横交错的数据网络中，逻辑复制扮演着及其重要的角色。
让我们将视角从复杂的网络拉回其中的一个端点，从PostgreSQL出发，对其逻辑复制的原理进行解密。
阅读全文
摘要：
到底什么是metadata lock？这个锁等待是如何产生的？会带来什么影响？最后又如何来解决？今天我们挑6个常见问题给大家解答一下。
阅读全文
到底什么是metadata lock？这个锁等待是如何产生的？会带来什么影响？最后又如何来解决？今天我们挑6个常见问题给大家解答一下。
阅读全文
摘要：
前一天从自建MySQL迁移到云上RDS，在执行某个并发较高的业务时出现了大量锁等待，客户当时升级了实例到最高规格，但故障依旧。
阅读全文
前一天从自建MySQL迁移到云上RDS，在执行某个并发较高的业务时出现了大量锁等待，客户当时升级了实例到最高规格，但故障依旧。
阅读全文
摘要：
数据库CPU使用率100%报警频繁起来。第一个想到的就是慢Sql，我们对未合理运用索引的表加入索引后，问题依然没有得到解决，深入排查时，发现在 order by id asc limit n时，即使where条件已经包含了覆盖索引，优化器还是选择了错误的索引导致。
阅读全文
数据库CPU使用率100%报警频繁起来。第一个想到的就是慢Sql，我们对未合理运用索引的表加入索引后，问题依然没有得到解决，深入排查时，发现在 order by id asc limit n时，即使where条件已经包含了覆盖索引，优化器还是选择了错误的索引导致。
阅读全文
摘要：在地图或地理信息有关的场景里，地址关键词的检索尤其重要。比如打开百度地图，想要查询某个位置的信息“北京市海淀区清华东路17号中国农业大学”，往往我们输入的是关键词“中国农业大学”而不是精确到街道的详细地址信息。
阅读全文
摘要：
1 背景 京东SRC(Security Response Center)收录大量外部白帽子提交的sql注入漏洞，漏洞发生的原因多为sql语句拼接和Mybatis使用不当导致。 2 手工检测 2.1 前置知识 mysql5.0以上版本中存在一个重要的系统数据库information_schema，通过
阅读全文
1 背景 京东SRC(Security Response Center)收录大量外部白帽子提交的sql注入漏洞，漏洞发生的原因多为sql语句拼接和Mybatis使用不当导致。 2 手工检测 2.1 前置知识 mysql5.0以上版本中存在一个重要的系统数据库information_schema，通过
阅读全文
浙公网安备 33010602011771号