摘要：
1 概述： OpenGemini 发展历程暨版本特性 OpenGemini 是由华为云发起并开源的一款高性能、高可用、云原生的分布式时序数据库（Time Series Database, TSDB）。 其目标是为物联网（IoT）、运维监控、金融等领域提供高效的时间序列数据存储与分析能力。 自 202 阅读全文
posted @ 2025-11-25 00:17
千千寰宇
阅读(46)
评论(0)
推荐(0)
摘要：
0 序言 续接[数据存储] 浅谈大数据领域的数据存储格式：ORC / Avro / Parquet / Arrow- 博客园/千千寰宇，展开回顾一下 Hive 的数据存储格式。 1 概述： Hive Hive支持多种存储格式，选择合适的存储格式对于提升查询性能和存储效率至关重要。 常见的Hive存储 阅读全文
posted @ 2025-11-24 01:17
千千寰宇
阅读(62)
评论(0)
推荐(0)
摘要：
0 序 数据存储格式，区别于压缩格式、归档格式，如: gzip、zstd、zip、rar、7z等。 如： orc / avro / parquet 等。 1 概述：大数据领域的数据存储格式 在当今大数据生态系统中，高效、可靠且可扩展的数据存储格式是支撑海量数据分析与处理的关键基础。 Apache O 阅读全文
posted @ 2025-11-24 01:16
千千寰宇
阅读(198)
评论(0)
推荐(0)
摘要：
1 概述 Volcano是 CNCF 下首个也是唯一的基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。 Volcano 是一个开源的 Kubernetes 批处理系统，专为高性能计算任务设计。 它提供了一种高效的方式来管理和调度资源密集型作业。比如：大数据处理和机器学习任务。 它 阅读全文
posted @ 2025-11-20 01:04
千千寰宇
阅读(1336)
评论(0)
推荐(0)
摘要：
0 序言 近期因某项目的部署诉求，需要基于 Stream Park，部署 Flink on k8s。在此学习总结一二。 1 概述：Apache Stream Park Apache Stream Park 在实时处理领域，Apache Spark™ 和 Apache Flink® 代表着巨大的进步， 阅读全文
posted @ 2025-11-20 00:01
千千寰宇
阅读(527)
评论(0)
推荐(0)
摘要：
0 序言 LSM-tree作为现代数据库 NewSQL 存储引擎的核心，以顺序写和异地更新大幅提升写入性能，解决了B-tree在写放大和磁盘碎片上的瓶颈。 本文意在解析LSM-tree的Memtable、SSTable与WAL机制，揭示读写流程和合并策略（Leveled与Tiered Compact 阅读全文
posted @ 2025-11-19 00:25
千千寰宇
阅读(1017)
评论(1)
推荐(1)
摘要：
1 概述: NewSQL NewSQL的定义 NewSQL的定义 NewSQL 是对各种新的可扩展/高性能数据库的简称，这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。 NewSQL是指这样一类新式的关系型数据库管理系统，针对OLTP（读-写）工作 阅读全文
posted @ 2025-11-18 01:18
千千寰宇
阅读(137)
评论(0)
推荐(0)
摘要：
0 序 笔者在项目中使用/运维 InfluxDB 和 OpenGemini 时序数据库已有些年头了，虽然对其数据库源码研究得还不算特别精深，但仍有必要沉淀一二，总结一二了。 此篇主要针对 influxdb v1。如无特殊说明，则默认基于 influxdb v1.7.5 进行源码、原理和架构的分析。 阅读全文
posted @ 2025-11-17 00:40
千千寰宇
阅读(398)
评论(0)
推荐(1)
摘要：
0 序言 近期，工作项目上某 Flink 程序的数据处理性能问题一直萦绕心头，今日第一次尝试使用火焰图这一工具来分析性能问题。 最早项目上的 Flink 是 1.12 ，尚不支持此功能；但现在已切换到 Flink 1.15 版本，火焰图功能（自 1.13起）是被支持的了。 或不多说，开始正文。 主要 阅读全文
posted @ 2025-11-08 09:19
千千寰宇
阅读(315)
评论(0)
推荐(0)
摘要：
1 数据仓库模型设计 1.1 数据分层模型 1.2 数据分层边界 1.3 数据主题域 主题域是面向业务分析，将业务分析过程进行高度概括及抽象，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。 目前互联网缺少相应标准模型的定义，可供参考讨论。 用户主题域：描述各类参与人（个人、群、 阅读全文
posted @ 2025-11-05 00:55
千千寰宇
阅读(119)
评论(0)
推荐(0)
摘要：
0 序 原始作者 | 杭州度言软件大数据团队 发布时间 | 2022.12.27 杭州度言软件有限公司（度言软件）成立于2014年，是信贷不良资产处置技术服务供应商，以“智能科技赋能不良资产处置，推动贷后行业合规高效发展”为使命，运用云通讯、大数据、人工智能等智能科技为信贷不良资产处置业务赋能，提供 阅读全文
posted @ 2025-11-05 00:04
千千寰宇
阅读(61)
评论(0)
推荐(0)
摘要：
0 序 Doris和ClickHouse是两款热门的OLAP数据库，它们在架构、功能、性能和易用性等方面存在差异 Doris : 最初由百度大数据部研发，名为百度Palo。 2017年开源，2018年贡献给Apache社区并更名为Apache Doris。 设计目标是为了满足大数据场景下的实时分析需 阅读全文
posted @ 2025-11-04 23:34
千千寰宇
阅读(306)
评论(0)
推荐(0)
摘要：
1 Hologres：阿里巴巴版实时数仓产品 https://help.aliyun.com/zh/hologres/product-overview/architecture 产品定位 Hologres是阿里巴巴自主研发的一站式【实时数仓引擎】（Real-Time Data Warehouse） 阅读全文
posted @ 2025-11-04 00:57
千千寰宇
阅读(275)
评论(0)
推荐(0)
摘要：
0 引言 作者： 海博 理想汽车高级大数据工程师 贾天福 理想汽车高级大数据工程师 原链: 云栖实录｜理想汽车基于 Hologres + Flink 构建万亿级车联网信号实时分析平台 - Weixin 1 智能汽车时代的数据挑战 随着电动车和智能汽车的快速普及，车联网信号数据呈现爆发式增长。 理想汽 阅读全文
posted @ 2025-11-04 00:35
千千寰宇
阅读(71)
评论(0)
推荐(0)
摘要：
0 序 本文根据 2025 云栖大会演讲整理而成 演讲信息如下: 演讲人： 聂清 零跑汽车大数据高级专家 零跑科技的快速发展与数据挑战 https://zhuanlan.zhihu.com/p/1966879670852093187 零跑科技成立于2015年12月，总部位于浙江杭州，是国内造车新势力 阅读全文
posted @ 2025-11-03 23:59
千千寰宇
阅读(43)
评论(0)
推荐(0)
浙公网安备 33010602011771号