行远自迩 登高自卑

摘要： MIT 6.5840 - Spring 2025 Lab 1: MapReduce 这是我实现 MIT 6.5840 的笔记, 希望对大家有帮助 MapReduce 算法 MapReduce 是一个分布式数据处理算法, 在我们平时写一些小程序往往不会接触分布式算法和应用, 一方面是后台的抽象, 我们 阅读全文

摘要： Tiny_SQL 中 Schema 同步与租约机制的实现 当 TiDB 接受一个 Schema 变更的 DDL 任务后, 我们分析了这个 Job 是如何构造的, 以及如何一步一步的调用后台的 worker goroutine 的, 那么 worker 究竟做了什么呢, worker 做完之后需要做哪 阅读全文

摘要： TinySQL_单个DDL任务执行的流程 前面的博客我们已经讲到了在 TiDB 中, 当一个 DDL 变更请求到达服务器时, Server 执行的流程, 包含了: 语法解析器配置需要执行的 DDL 任务的上下文信息. DDL Executor 在 Next() 函数中调用数据库表变更的函数 Alte 阅读全文

摘要： TiDB 中 Server 上 Worker 的执行原理 本章我们来介绍一下 TiDB 中后台执行 DDL 变更的 worker 是如何实现的. DDL worker 的启动 数据库的 DDL 相关的信息是属于数据库的元信息, 在 TiDB 中, 每一个 Server 使用 Domain 来管理这些 阅读全文

摘要： TiDB 的异步 Schema 变更原理 与 Google 的 F1 Schema 变更协议的比较: TiDB 的 Schema 变更引入了与谷歌 F1 Schema 变更协议类似的中间状态, 在 Schema 变更中使用了 delete-only, write-only, reorganizati 阅读全文

摘要： OpenCompass 框架评测原理 注册器 Opencompass 是一个评测框架, 但是实际后台模型的导入, 执行, 数据集的处理与导入等, 都是基于另一个框架 MMEngine 的, 在 OpenCompass 中大量使用了注册器的机制, 在数据集处理与模型处理的过程中均使用了注册器的机制来管 阅读全文

摘要： Asynchronous Schema Change in F1 最近在学习 TinySQL 的时候, 也就是一个小型的 TiDB, 才知道分布式数据库中对 Schema 变更的特殊处理, 由于之前不了解分布式数据库, 也不熟悉分布式协议, 找了一些资料, 也读了 Google F1 的原论文, 这 阅读全文

摘要： TinySQL Goyacc Parser TinySQL 中使用 Goyacc 语法解析器生成器来生成一个语法解析器, Goyacc 用来根据你定义的语法规则生成一个语法解析器, 这个语法规则就写在文件 parser.y 中. 它会生成一个 Go 语言源文件, 里面包含了一个 LALR(1) 的语 阅读全文

摘要： Tiny_SQL 中 词法分析器的实现 词法分析的任务是将 SQL 语句的文本拆解成 Token(标记), 每个 Token 代表 SQL 语法中的一个基本单元, 例如关键字(SELECT)、标识符(表名、列名)、操作符(=)、数字等. 示例 假设输入 SQL 语句如下: SELECT id, na 阅读全文

摘要： Serializable Verification 我们知道 MVCC 并不能解决幻读以及写偏差的问题, 仅通过 MVCC 的事务调度是无法保证数据库引擎的 ACID 原则的, 那么为了保证数据库的 ACID 原则, 即使在调度的过程中无法保证, 可以通过在 Commit 的时候, 通过验证, Ab 阅读全文