Aitozi's的博客

摘要： 如果只从 LanceDB 的 API 看，表就是一张 table：可以建表、追加数据、建索引、做 vector search 或 full-text search。但落到磁盘后，它不是一个单独的数据文件，而是 一个 Lance dataset。 本文试图回答一个问题： LanceDB 创建一张本地表 阅读全文

摘要： Lance 是一个面向 AI/ML 数据的列式数据格式。它经常强调高性能随机访问、索引能力和多模态数据支持。乍看起来，这和我们对“列式格式”的传统印象有些冲突：列式格式通常擅长全量扫描、聚合分析，而随机访问往往被认为是行式存储或数据库索引的强项。 Lance 论文 Lance: Efficient 阅读全文

摘要： 原视频链接: https://www.youtube.com/watch?v=ksY2eKQiSSM 字节跳动：中国最大广告机器的演进与逻辑 一、 商业化的底层逻辑：广告依然是互联网的“皇冠” 在众多变现路径中，广告依然被验证为互联网行业最高效、最优质的商业模式。字节跳动的崛起，本质上是将其作为一种 阅读全文

摘要： 语法 MERGE INTO target USING source ON source.a = target.a WHEN MATCHED THEN UPDATE SET a = source.a, b = source.b, c = source.c WHEN NOT MATCHED THEN I 阅读全文

摘要： deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会比较适合. 避免 M 阅读全文

摘要： Lookup Store 主要用于 Paimon 中的 Lookup Compaction 以及 Lookup join 的场景. 会将远程的列存文件在本地转化为 KV 查找的格式. Hash https://github.com/linkedin/PalDB Sort https://github 阅读全文

摘要： 数据类型要求 BatchPhysicalHashAggRule match 条件会判断 isAggBufferFixedLength(agg) 为什么要求 aggCall 的类型是 Fixed Length 的才可以使用 HashAggregate ? 因为在 HashAggregate 中, 依赖 阅读全文

摘要： 介绍 目的 Chaneglog producer 的主要目的是为了在 Paimon 表上产生流读的 changelog, 所以如果只是批读的表是可以不用设置 Chaneglog producer 的. 一般对于数据库如 MySQL 来说, 当执行的语句涉及数据的修改例如插入、更新、删除时，MySQL 阅读全文

摘要： - 这两周从听 #纵横四海 播客 #刻意练习 和笔记的力量开始逐渐关注到双链笔记, 其实最早在听ByteTalk的时候就有听到一期嘉宾介绍到一款双链笔记 #logseq . 其实给我印象最深的是刻意练习中关于对学习的讲解, 其中提到刻意练习最重要的几部分: chunk 和 link. 而双链笔记 最 阅读全文

摘要： 类型有什么作用, 类型可以提供编译期检查, 避免到运行期才报错. # 类型 首先Flink中自己定义了一套类型, 有`LogicalType`和`DataType`两个表示 ## LogicalType `LogicalType`表示的逻辑类型, 并不涉及类型的物理表示, 会包含nullable属性 阅读全文