上一页 1 2 3 4 5 6 7 8 9 ··· 80 下一页
摘要: 0 序 从上大学到今天,从事后端开发、大数据、AI系统开发工作,这些年来,也不同程度地使用数十款数据库。本篇尝试总结、提炼这些数据库系统的共性设计。 1 数据库系统的设计原理研究 存储引擎 / 底层的数据结构 (必读) 行存储 行存储: 数据结构=B-Tree或变体 : 将数据按照【顺序存储】在树节 阅读全文
posted @ 2026-10-11 11:28 千千寰宇 阅读(212) 评论(0) 推荐(0)
摘要: 0 序 调研对象:apache/jena(https://github.com/apache/jena) 调研时间:2026-10-10 | 最新版本:Apache Jena 6.2.0,1.5k star 719 fork 调研方式: 人工 + AI 定位:Apache Jena 是构建语义网与知 阅读全文
posted @ 2026-10-10 16:29 千千寰宇 阅读(61) 评论(0) 推荐(0)
摘要: 0 序 定位:Apache Paimon 是一种将数据湖格式(Lake Format)与 LSM-Tree 日志结构合并树相结合的流式数据湖存储格式,用 Flink 与 Spark 构建"流批统一"的实时湖仓(Realtime Lakehouse)架构,天生为流式更新与变更数据(CDC)设计,并于 阅读全文
posted @ 2026-10-10 14:01 千千寰宇 阅读(63) 评论(0) 推荐(0)
摘要: 1 Delta-Delta 压缩算法 “delta+delta 压缩时间字段”通常指的是 Delta-of-Delta 编码,这是一种在时序数据库中常用的压缩算法,主要用于压缩时间戳或数值字段,以减少存储空间、并提高数据处理效率。 其核心原理和特点: 基本原理 Delta-of-Delta 编码是在 阅读全文
posted @ 2026-10-10 01:47 千千寰宇 阅读(14) 评论(0) 推荐(0)
摘要: 0 序 调研声明 调研日期:2026-10-09(GitHub Star 数、版本号均以该时点为准,检索最新公开资料) 调研方式:人工(笔者有持续多年使用了多款时序数据库的背景) + AI 证据口径说明: 【已查证】:事实来自官方文档 / 官方 GitHub / 官方发布公告 / 官方 API(如 阅读全文
posted @ 2026-10-10 01:40 千千寰宇 阅读(301) 评论(0) 推荐(0)
摘要: 0 序 调研对象:斯坦福大学 BMIR(生物医学信息研究中心)开发的 Protégé 本体编辑器 调研日期:2026-10-09 1 概述 产品介绍 Protégé 是由美国斯坦福大学医学院生物医学信息研究中心(Stanford BMIR)开发的一款免费、开源的 OWL 本体编辑器与知识建模平台。它 阅读全文
posted @ 2026-10-10 01:31 千千寰宇 阅读(279) 评论(0) 推荐(0)
摘要: 1 开源的数据质量工具 开源数据质量工具可以按“校验引擎 / SQL 转换层 / 大数据 Spark / 可观测与目录 / ML 数据”分层看,避免把校验库和治理平台混为一谈。 一、通用校验/测试框架(最常用) Great Expectations(GX Core):Python 框架,用“Expe 阅读全文
posted @ 2026-10-10 01:29 千千寰宇 阅读(44) 评论(0) 推荐(0)
摘要: 0 序 这个问题,对于已经干软件开发的同行们来说,是再简单不过的基础问题了。这不,笔者还是在这个过程中稍微踩了点坑,好记性不如烂笔头,索性再把正确的操作过程缕一缕。 1 操作步骤 Step1 本地:生成密钥/公钥对文件 本地:生成密钥/公钥对文件 ssh-keygen -t ed25519 -C " 阅读全文
posted @ 2026-10-10 01:27 千千寰宇 阅读(28) 评论(0) 推荐(0)
摘要: 1 概述:本体论与本体建模 调研性质:技术认知梳理(覆盖概念、标准、方法论、工具、应用与落地要点) 调研方式:人工 + AI 调研日期:2026-10-09 核心文献:以 W3C 标准、Stanford《Ontology Development 101》及企业实践类来源为主,全文出处见文末。 一、引 阅读全文
posted @ 2026-10-09 19:26 千千寰宇 阅读(363) 评论(0) 推荐(0)
摘要: 1 定义 在AI与智能驾驶(智驾)领域,【长尾场景】(Long-tail Scenarios) 指的是那些发生频率极低、样本极度稀缺,但直接导致算法失效或引发安全事故的极端/边缘情况。 它之所以是核心痛点,是因为AI模型通常在高频的“常规场景”上表现完美,但在无穷无尽的“长尾场景”面前,泛化能力会急 阅读全文
posted @ 2026-09-28 22:49 千千寰宇 阅读(86) 评论(0) 推荐(0)
摘要: 1 概述:OpenMetadata 使用指南 [元数据/数据资产/数据治理] OpenMetadata:面向数据与 AI 的开源【统一元数据】、上下文层平台、【数据治理平台】 - 博客园/千千寰宇 2 安装部署 前置要求 最小规格资源: 4C / 6GB Docker 20.10+(或 Docker 阅读全文
posted @ 2026-09-23 20:42 千千寰宇 阅读(715) 评论(0) 推荐(0)
摘要: 0 序 OpenMetadata —— 由 Apache Hadoop /Atlas 与 Uber Databook 创始团队打造、以「开放上下文层(Open Context Layer)」为定位、拥有 130+ 原生连接器的一体化开源元数据管理与数据治理平台。 创始团队本身就是大数据、元数据管理的 阅读全文
posted @ 2026-09-23 15:06 千千寰宇 阅读(282) 评论(0) 推荐(0)
摘要: 0 序 由 Datastrato 发起、已毕业为 Apache 顶级项目的【开源元数据湖】(Metadata Lake),通过一套统一模型与 API 直接管理分散在异构数据源、跨区域/云上的数据与 AI 资产元数据,并提供【一站式数据治理】。 https://datastrato.ai 关系型模型的 阅读全文
posted @ 2026-09-23 00:49 千千寰宇 阅读(121) 评论(0) 推荐(0)
摘要: 0 序 数据湖仓(Lakehouse)解决"一份数据存一处、BI 和 AI 都能用",是物理底座; 数据编织(Data Fabric)解决"散在各处的数据不搬迁也能找得到、连得通",是元数据 + 智能化的连接层; 数据网格(Data Mesh)解决"谁生产数据、谁对质量负责",是组织与所有权范式。 阅读全文
posted @ 2026-09-22 19:40 千千寰宇 阅读(51) 评论(0) 推荐(0)
摘要: 0 序 接续:[任务调度/工作流] Apache Airflow:以代码为中心的开源工作流编排与批处理调度平台(领导者) - 博客园/千千寰宇 1 概述: Apache Airflow 核心组件(任何部署模式都有) Airflow 的部署方式,本质上由两个东西决定:跑在哪(单机/分布式) 和 用什么 阅读全文
posted @ 2026-09-22 01:58 千千寰宇 阅读(75) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 8 9 ··· 80 下一页