随笔分类 -  云原生

使用 Databend 助力 MySQL 的数据分析
摘要：目标 Databend 是一个非常先进的基于对象存储云原生数仓[^1]可以提强大的计算分析及存储能力。让 MySQL DBA 非常眼馋。今天想把 MySQL 的 wubx 库从 MySQL 全量迁移到 Databend 中。 借助工具： dumpling[^2] [^1]:https://githu 阅读全文
posted @ 2022-06-29 11:15 Databend 阅读(267) 评论(0) 推荐(0)
如何简单、高效的进行留存和漏斗分析
摘要：Databend 是一个使用 Rust 研发、开源的、完全面向云架构的新式数仓，致力于提供极速的弹性扩展能力，打造按需、按量的 Data Cloud 产品体验。 开源地址：https://github.com/datafuselabs/databend 前言 随着移动互联网的发展，我们时刻都在生产着 阅读全文
posted @ 2022-05-26 17:13 Databend 阅读(198) 评论(0) 推荐(0)
200 行代码实现基于 Paxos 的 KV 存储
摘要：前言 写完【paxos 的直观解释】之后，网友都说疗效甚好，但是也会对这篇教程中一些环节提出疑问（有疑问说明真的看懂了 🤔），例如怎么把只能确定一个值的 paxos 应用到实际场景中。 既然 Talk is cheap，那么就 Show me the code，这次我们把教程中描述的内容直接用代码 阅读全文
posted @ 2022-05-20 16:49 Databend 阅读(196) 评论(0) 推荐(0)
探索Snowflake auto clustering 设计
摘要：Context Snowflake IPO 大火之后大家开始慢慢了解到这个完全基于云架构而设计的新式数据仓库。 Snowflake 利用云端近似无限的计算和存储资源，基于存算分离的新式架构，真正实现了按需、按量的付费模式，极大的降低了用户的使用成本，让用户更加专注于数据价值的挖掘。对于传统的数据仓库 阅读全文
posted @ 2022-04-29 17:32 Databend 阅读(205) 评论(0) 推荐(0)
Analyze OnTime datasets with Databend on AWS EC2 and S3
摘要：1.基准环境 ec2 size：c5a.4xlarge ec2 region：<您的 s3 存储区域> 本地磁盘300G，本地磁盘仅用于ontime save和databend complie。 操作系统：ubuntu 20 x64 准备安装包： $sudo apt-get install unzi 阅读全文
posted @ 2022-01-27 17:09 Databend 阅读(43) 评论(0) 推荐(0)
Databend 的 Group By 聚合查询为什么跑的这么快？-实践篇 2
摘要：在这里主要向大家做一个 Databend 性能调优相关的分享，共会分为三次向大家介绍，如下所示： 1、基础篇：代码调优的前置知识（https://mp.weixin.qq.com/s/WTCL6w9ur6DyIBUWt1TvQA ） 2、实践篇1：Databend 源码性能调优实践（https:// 阅读全文
posted @ 2022-01-14 15:38 Databend 阅读(267) 评论(0) 推荐(0)
Databend 源码性能调优实践-实践篇 1
摘要：在这里主要向大家做一个 Databend 性能调优相关的分享，共会分为三次向大家介绍，如下所示： 1、基础篇：代码调优的前置知识（https://mp.weixin.qq.com/s/WTCL6w9ur6DyIBUWt1TvQA ） 2、实践篇1：Databend 源码性能调优实践 3、实践篇2：D 阅读全文
posted @ 2022-01-06 14:17 Databend 阅读(184) 评论(0) 推荐(0)
Databend 性能调优-基础篇
摘要：在软件基础设施领域，人们开始越来越重视代码的性能优化，在满足其可实现功能完整的同时，若可逐步去优化代码，则能在相同硬件条件下达到更好的工作效率，进一步提高业务生产效率。尤其是大数据领域，比如 OLAP 数据库通常服务于海量数据即席查询分析的场景，一些看似不起眼的底层调优却能在数据量级上进行优化叠加， 阅读全文
posted @ 2021-12-31 11:28 Databend 阅读(264) 评论(0) 推荐(0)
带你了解 Databend “发布列车”
摘要：「什么是 Databend 发布通道呢？」 Databend 的发布过程遵循“发布列车”模型，并使用了 Rust、Firefox 和 Chrome，以及 “feature staging” 等等。 但是在早期的 Databend 只会升级 nightly 版本号，当一个 nightly 版本准备 b 阅读全文
posted @ 2021-12-16 16:38 Databend 阅读(195) 评论(0) 推荐(0)
Databend 内置标量函数开发指南
摘要：Databend 内置标量函数开发指南编写你的第一个标量函数 原文：https://databend.rs/development/how-to-write-scalar-functions/ 什么是标量函数？¶ 标量函数(有时被称为用户自定义函数/UDF)为每条记录返回一个单一的值，而不是作为一个结果集，并且可以在查询或SET语句中的 阅读全文
posted @ 2021-12-06 16:35 Databend 阅读(130) 评论(0) 推荐(0)
Databend 如何利用 Github 做全球协作开发 & 探讨 Rust 智能指针 II
摘要：本周 Rust 培养提高计划给大家安排两次公开课交流，分别是： 周四晚上：《Databend 如何利用 Github 做全球协作开》尚卓燃（PsiACE） 周日晚上： 《探讨 Rust 智能指针 II》 苏林 ​ Databend 如何利用 Github 做全球协作 开分享主题：《Databend 阅读全文
posted @ 2021-11-16 16:10 Databend 阅读(110) 评论(0) 推荐(0)
Databend 设计概述 | 白皮书
摘要：Databend 是一个开源的、完全面向云架构的新式数仓，它提供快速的弹性扩展能力，并结合云的弹性、简单性和低成本，使 Data Cloud 构建变得更加容易。 Databend 把数据存储在像 AWS S3 ，Azure Blob 这些云上的存储系统，可以使不同的计算节点挂载同一份数据，从而做到较 阅读全文
posted @ 2021-11-16 10:51 Databend 阅读(1807) 评论(0) 推荐(0)
Databend 社区积极拥抱 Rust 生态(202111回顾）
摘要：Databend 旨在成为一个 开源、弹性、可靠 的无服务器数仓，查询快如闪电，与 弹性、简单、低成本 的云服务有机结合。数据云的构建，从未如此简单！ Databend 对 Rust 社区的意义 Databend 的团队成员大多有丰富的数据库/数据平台开发及开源协作经验。我们选用 Rust 来开发高 阅读全文
posted @ 2021-11-13 16:40 Databend 阅读(367) 评论(0) 推荐(0)