2022年8月17日
【StoneDB Class】入门第二课：StoneDB整体架构解析
摘要： StoneDB 的整体架构分为三层，分别是应用层、服务层和存储引擎层。应用层主要负责客户端的连接管理和权限验证；服务层提供了 SQL 接口、查询缓存、解析器、优化器、执行器等组件；Tianmu 引擎所在的存储引擎层是 StoneDB 的核心，数据的组织和压缩、以及基于知识网格的查询优化均是在 Tia 阅读全文
posted @ 2022-08-17 17:57 来来士 阅读(137) 评论(0) 推荐(0) 编辑
【StoneDB Class】入门第一课：数据库知识科普
摘要： 在没有出现数据库之前，数据存储在文本中，这种数据存储方式不管是管理还是查询，效率都是极其低下的，数据之间没有关联性。到了1970年，IBM研究员 E.F.Codd 发表了论文"A Relational Model of Data for Large Shared Data Banks"，该论文中第一 阅读全文
posted @ 2022-08-17 16:46 来来士 阅读(160) 评论(0) 推荐(0) 编辑
2022年8月16日
【StoneDB故障诊断】数据库实例crash
摘要： 系统负载高 系统负载高导致了申请系统资源失败，最后数据库实例crash，常见原因及诊断方法详见系统资源瓶颈诊断。 数据页损坏 如果是硬件故障或者磁盘空间满了，向数据文件写入时，很容易导致数据文件的写corrupt，为了保证数据的一致性，数据库实例会crash。 Bug 数据库实例发生crash的一个 阅读全文
posted @ 2022-08-16 17:48 来来士 阅读(63) 评论(0) 推荐(0) 编辑
【StoneDB研发日志】列式存储 delete方案调研
摘要： MySQL删除数据的方式 以MySQL 5.7为例，数据库删除数据的方式一共有以下三种： delete truncate drop 以上三种方式都可以删除数据，但是使用场景是不同的。 对于整个表进行删除的执行速度来说： drop > truncate >> delete MySQL删除数据的方式-d 阅读全文
posted @ 2022-08-16 16:22 来来士 阅读(128) 评论(0) 推荐(0) 编辑
【StoneDB】从库如何规避不支持的DML和DDL
摘要： （以下情况仅针对StoneDB 1.0版本不支持的部分DML和DDL操作，StoneDB 2.0及以上版本将无需此类操作） 主从复制中，主库的任何更新都会同步到从库，如果从库不想重做主库的某个更新动作，可以使用以下两种方法进行规避。当然，最终带来的影响是主从环境数据不一致的问题。 以下的测试环境中， 阅读全文
posted @ 2022-08-16 15:16 来来士 阅读(79) 评论(0) 推荐(0) 编辑
【StoneDB研发日志】union功能bug记录
摘要： 1、问题现象 create database syw_mtr; use syw_mtr; CREATE TABLE t1 (f1 VARCHAR(255) CHARACTER SET utf8)engine=tianmu; CREATE TABLE t2 AS SELECT LEFT(f1,171) 阅读全文
posted @ 2022-08-16 14:10 来来士 阅读(57) 评论(0) 推荐(0) 编辑
【StoneDB技术解析】验证相关数据包是否需要解压缩
摘要： 在StoneDB中，数据包分为以下几类： 不相关的数据包：不满足查询条件的数据包。 相关的数据包：满足查询条件的数据包。 可疑的数据包：数据包中的数据部分满足查询条件，需要进一步解压缩数据包才能得到满足条件的数据行。 通过对数据包的划分，知识网格技术过滤掉不相关的数据包，读取相关的数据包和可疑的数据 阅读全文
posted @ 2022-08-16 10:52 来来士 阅读(90) 评论(0) 推荐(0) 编辑
2022年8月15日
StoneDB 读、写操作的执行过程
摘要： 背景介绍 StoneDB 是一款兼容 MySQL 的开源 HTAP 数据库。StoneDB 的整体架构分为三层，分别是应用层、服务层和存储引擎层。应用层主要负责客户端的连接管理和权限验证；服务层提供了 SQL 接口、查询缓存、解析器、优化器、执行器等组件；Tianmu 引擎所在的存储引擎层是 Sto 阅读全文
posted @ 2022-08-15 19:18 来来士 阅读(125) 评论(0) 推荐(0) 编辑
什么是真正的HTAP？（二）挑战篇
摘要： 上一篇文章中，我们从技术和商业角度分析了 HTAP 系统缘起的背景，本篇文章中，我们将从 HTAP 定义及其相关核心技术等方面来讨论：构建一个 HTAP 所面临的核心问题和挑战有哪些？ HTAP 涉及技术和对产品的影响 HTAP 是将 TP 和 AP 进行高度融合的产物， 而非简单的 TP 和 AP 阅读全文
posted @ 2022-08-15 11:00 来来士 阅读(328) 评论(0) 推荐(0) 编辑
什么是真正的HTAP？（一）背景篇
摘要： To digitally transform the business, AI must be real-time. For AI to be real-time, we need real-time analytics.[1] Hybrid transaction/analytical proce 阅读全文
posted @ 2022-08-15 09:14 来来士 阅读(102) 评论(0) 推荐(0) 编辑