随笔分类 - Databend
摘要：作者：尚卓燃（PsiACE）澳门科技大学在读硕士，Databend 研发工程师实习生 Apache OpenDAL(Incubating) Committer https://github.com/PsiACE 对于 Databend 这样复杂的数据库服务端程序，往往需要支持大量的可配置选项，以帮助
阅读全文
摘要：上篇我们讲了怎么利用 copy 命令借助于 Stage 把数据加载到 Databend 中，Databend 致力于构建一个完整的数据湖，也需要支持用户把数据从 Databend 中取走，这里 Databend 给三种可以把数据取走的办法： External table 把数据存储在用户指定的 bu
阅读全文
摘要：Copy 命令是 Databend 批量加载 | 卸载数据的灵魂工具。目前 copy 可以做到单机内按 CPU core 数并发，马上就支持按集群内并发。Copy 可以结合 bucket 和 内置的 stage 使用，这块功能比较丰富，接下来给大家具体讲解一下。 Databend 批量数据装载和卸载
阅读全文
摘要：在单机模式下我们部署了 databend-meta 和 databend-query 两种角色（参考：基于 MinIO 部署单实例 Databend | 新手篇（1）），其中 databend-query 是计算节点，无状态模式，这种架构也有直接用于生产的。 实际上生产环境推荐至少部署三个 data
阅读全文
摘要：
目的 通过本篇文章带大家理解一下 Databend 的存储结构。Databend 内置的 Table 引擎为 Fuse table engine，也是接下来要花重点篇幅要讲的。 另外，Databend 还支持外置的 Hive table 及 Icebreg Table ( 即将到来）。Fuse ta
阅读全文
目的 通过本篇文章带大家理解一下 Databend 的存储结构。Databend 内置的 Table 引擎为 Fuse table engine，也是接下来要花重点篇幅要讲的。 另外，Databend 还支持外置的 Hive table 及 Icebreg Table ( 即将到来）。Fuse ta
阅读全文
摘要：Databend Cloud 产品手册终于和大家见面了！ Databend Cloud 由 Databend 强力驱动，是一款基于 Databend 内核打造的 SAAS 云数仓平台，具有简单、弹性、安全、速度快、成本低等特性，专注于云端大数据一站式解决方案，以解决传统大数据项目中运维难，成本高，使
阅读全文
摘要：引言 JSON 是一种常用的半结构化数据，通过自描述的 Schema 结构，可以表示任何类型的数据，包括多层嵌套的数据类型，例如 Array、Object 等。与必须严格遵循表结构字段的结构化数据相比，具有灵活性高，易于动态扩展的优点。近年来，随着各平台数据量的迅速增加，JSON 等半结构化数据的使
阅读全文
摘要：【Data Infra 研究社】来到了我们的第四期活动，本期的内容我们定位在和【数据归档】相关的内容，特邀请了现任数字化零售多点 Dmall 数据库负责人冯光普老师以及 Datafuse Labs 联合创始人&架构师 吴炳锡老师来给大家从多方面出发进行交流，带大家体验云环境中对象存储的魅力！感兴趣的
阅读全文
摘要：Databend 是一个使用 Rust 研发、开源、完全面向云架构的新式数仓，提供极速的弹性扩展能力，致力于打造按需、按量的 Data Cloud 产品体验。具备以下特点： 开源 Cloud Data Warehouse 明星项目 Vectorized Execution 和 Pull&Push-B
阅读全文
摘要：概论 sqlite 底层的存储基于 B-tree，B-Tree 对底层存储的基本读写单位是页面，而每个页面都由全局唯一的页面编号与之对应，一般来说页面编号从 1 开始递增。类 B-Tree 的存储引擎修改数据的流程如下图所示： 从上图中，需要区分 B-Tree 类的存储引擎几个核心的模块： B-Tr
阅读全文
摘要：引言 类型系统是数据库的一个重要组成部分，它提供了一种一致的方式来确定 SQL 中的数据类型。类型系统的设计很大程度影响数据库的易用性和健壮性，一个设计合理且一致的类型系统容易让使用者判断 SQL 的行为。反之，一个没有经过正式设计的类型系统会带来各种暗坑和不一致行为在暗中背刺用户。我们用编程语言举
阅读全文
摘要：query 启动入口 Databend-query server 的启动入口在 databend/src/binaries/query/main.rs 下，在初始化配置之后，它会创建一个 GlobalServices 和 server 关闭时负责处理 shutdown 逻辑的 shutdown_ha
阅读全文
摘要：你是否对 OpenDAL 的设计和使用还有不解，急需一个系统的解释去深入了解呢？对于 OpenDAL 在 Databend 中的应用是否了解？本次直播我们会携手旋涡老师一起为大家答疑解惑，学习并掌握 OpenDAL 的使用，了解 Databend 底层如何与存储交互，感兴趣的朋友们不要错过，赶紧扫描
阅读全文
摘要：Hello，大家好，我是漩涡，现在由我代表 Databend 社区宣布 v0.8 版本的正式发布。 Databend v0.8 的开发于 3 月 28 号开始，总计 5000+ commits，4600+ 文件变更。在过去的 5 个月中，社区的 120 余位贡献者新增了 42 W 行代码，删除了
阅读全文
摘要：前言 Databend 在 2021 年开源后，陆续受到了很多社区同学的关注。Databend 使用了 Rust 编程语言。为了吸引更多的开发者，特别是没有 Rust 开发经验的新同志，我们设计了 Rust 相关课程，同时建立了多个 Rust 兴趣小组。 Databend 在 issue 中还引入了
阅读全文
摘要：工欲善其事，必先利其器。在开启 Databend 贡献之旅前，一起来配置适合自己的开发环境吧。快速安装 快速安装 为方便开发者快速建立开发环境，Databend 维护了一个复杂的 shell 脚本，位于 scripts/setup/dev_setup.sh。只需执行一条指令即可完成开发环境配置： $
阅读全文
摘要：引言 本文介绍 Rust 并发安全相关的几个概念：Send、Sync、Arc，Mutex、RwLock 等之间的联系。这是其中的下篇，主要介绍 Arc，Mutex、RwLock 这几个线程安全相关的类型。 在上一节[^1]中，讲解了 Send 和 Sync 这两个线程安全相关的 trait，在此基础
阅读全文
摘要：Databend 的设计目标之一就是保持最佳性能，为了更好观测和评估性能，社区不光提供一套简单的本地基准测试方案，还建立了可视化的持续基准测试。 本地基准测试 hyperfine 是一种跨平台的命令行基准测试工具，支持预热和参数化基准测试。Databend 建议使用 hyperfine 通过 Cli
阅读全文
摘要：测试是提高软件健壮性、加速迭代进程的不二法宝。本文将会介绍如何为 Databend 添加不同种类的测试。 单元测试 Databend 的单元测试组织形式有别于一般的 Rust 项目，是直接一股脑放在 tests/it 目录下的。同时，在各个 crate 的 Cargo.toml 中，也针对性地禁用了
阅读全文
摘要：近日，在中国信通院召开的云原生产业大会上，正式发布了 2022 年度首批《云原生产品目录》，Databend Cloud 产品成功入选 云原生产品目录 中国信通院为解决云原生用户选型困境，全面拉齐行业认知，推动云原生产业蓬勃发展，而发起、征集和评选出来的，Databend 的技术能力获得了权威认可，
阅读全文
浙公网安备 33010602011771号