Aitozi's的博客

摘要： An Empirical Evaluation of Columnar Storage Formats 《An Empirical Evaluation of Columnar Storage Formats》评估的是 Parquet 和 ORC 这两类主流开源列式文件格式。论文没有把结论写成“谁更 阅读全文

摘要： Lance 的写入链路同时涉及文件布局、版本提交、删除标记、索引维护和 compaction。和传统数据库不同，Lance 不直接在原文件上修改数据，而是通过新增文件和更新元数据来产生新的表版本。 本文讨论几个实现问题： delete、update、merge insert 如何落到文件和元数据上。 阅读全文

摘要： 如果只从 LanceDB 的 API 看，表就是一张 table：可以建表、追加数据、建索引、做 vector search 或 full-text search。但落到磁盘后，它不是一个单独的数据文件，而是 一个 Lance dataset。 本文试图回答一个问题： LanceDB 创建一张本地表 阅读全文

摘要： Lance 是一个面向 AI/ML 数据的列式数据格式。它经常强调高性能随机访问、索引能力和多模态数据支持。乍看起来，这和我们对“列式格式”的传统印象有些冲突：列式格式通常擅长全量扫描、聚合分析，而随机访问往往被认为是行式存储或数据库索引的强项。 Lance 论文 Lance: Efficient 阅读全文

摘要： 原视频链接: https://www.youtube.com/watch?v=ksY2eKQiSSM 字节跳动：中国最大广告机器的演进与逻辑 一、 商业化的底层逻辑：广告依然是互联网的“皇冠” 在众多变现路径中，广告依然被验证为互联网行业最高效、最优质的商业模式。字节跳动的崛起，本质上是将其作为一种 阅读全文

摘要： 语法 MERGE INTO target USING source ON source.a = target.a WHEN MATCHED THEN UPDATE SET a = source.a, b = source.b, c = source.c WHEN NOT MATCHED THEN I 阅读全文

摘要： deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会比较适合. 避免 M 阅读全文

摘要： Lookup Store 主要用于 Paimon 中的 Lookup Compaction 以及 Lookup join 的场景. 会将远程的列存文件在本地转化为 KV 查找的格式. Hash https://github.com/linkedin/PalDB Sort https://github 阅读全文

摘要： 数据类型要求 BatchPhysicalHashAggRule match 条件会判断 isAggBufferFixedLength(agg) 为什么要求 aggCall 的类型是 Fixed Length 的才可以使用 HashAggregate ? 因为在 HashAggregate 中, 依赖 阅读全文

摘要： 介绍 目的 Chaneglog producer 的主要目的是为了在 Paimon 表上产生流读的 changelog, 所以如果只是批读的表是可以不用设置 Chaneglog producer 的. 一般对于数据库如 MySQL 来说, 当执行的语句涉及数据的修改例如插入、更新、删除时，MySQL 阅读全文