摘要: 摘要:Agent Trace 与常规应用日志的差异集中在三点——单条记录体积极不均匀、schema 持续漂移、检索与聚合需在同一份数据上完成。本文按"原理到实操"的顺序梳理 Apache Doris 在该场景下的四项能力:VARIANT 按 JSON 路径拆子列、宽表存储格式 V3 的列元数据按需加 阅读全文
posted @ 2026-10-12 14:46 SeleectDB 阅读(15) 评论(0) 推荐(0)
摘要: 摘要:本文面向需要在日志上做统计分析、正在评估是否引入 OLAP 引擎的工程同学。内容包括:ELK 聚合能力的技术成因、ES 侧三个低成本优化手段(含验证命令)、Apache Doris 侧按天自动分区的明细表建模与分区裁剪、search() 检索与看板刷新查询的写法、异步物化视图与透明改写参数清单 阅读全文
posted @ 2026-10-12 14:46 SeleectDB 阅读(13) 评论(0) 推荐(0)
摘要: 这篇是给自己留档的。起因是接连遇到几个政务和金融的替换评估,问题都差不多:能不能用、怎么验、材料找谁要。每次重新梳理一遍太费时间,所以整理成一份可以按顺序打勾的清单。 清单一共八段,从环境确认一直排到验收材料,全部可以按顺序打勾。其中最容易被漏掉的一条是审计留存——内置审计表按天分区、默认只保留最近 阅读全文
posted @ 2026-10-12 14:45 SeleectDB 阅读(18) 评论(0) 推荐(0)
摘要: 存档目的:把 Doris 4.0 之后这套 ANN 索引的用法集中记下来,包括三种索引类型的适用场景、四种量化编码的差别、以及一份可以复制改写的语句清单。数字部分统一标注来源,避免二次引用时失真。核心性能口径只有一个:官方 SIFT 示例(100 万条 128 维向量)中,精确检索约 290ms,走 阅读全文
posted @ 2026-10-12 14:45 SeleectDB 阅读(16) 评论(0) 推荐(0)
摘要: 记录一次日志平台从 ClickHouse 迁移到 Apache Doris 的过程。 ClickHouse 本身没有问题,是我们的负载形态和它的设计取向不匹配:日志平台既要高并发的点查与检索,又要聚合分析。下面是两类的实测对照与迁移配置。 一、先说结论 ClickHouse 在日志场景的强项与边界都 阅读全文
posted @ 2026-09-29 16:26 SeleectDB 阅读(20) 评论(0) 推荐(0)
摘要: 记录一次日志架构调整:原本 ES(检索)+ ClickHouse(分析)双栈,改成统一引擎。 改造动机有三个:存储双份、口径不一致、字段变更要改两处。下面是改造前后的对照和落地配置。 一、先说结论 双栈方案的隐性成本有四类,且都随时间增长: 成本类型 表现 随规模变化 存储双份 同一份日志在两套系统 阅读全文
posted @ 2026-09-29 16:25 SeleectDB 阅读(10) 评论(0) 推荐(0)
摘要: 这篇是给自己留档的笔记。起因是把一张埋点表从「整条 JSON 存 STRING」改成 Apache Doris 的 VARIANT 类型,前后需要确认的细节太多,散在文档各处,索性按「原理 → 类型规则 → 存储模式 → 配置清单 → 建表批注」的顺序整理成一页,方便以后回查。 结论先行:改动本身只 阅读全文
posted @ 2026-09-29 16:23 SeleectDB 阅读(12) 评论(0) 推荐(0)
摘要: 摘要:这篇是湖仓一体主题的归档笔记,围绕 Apache Doris 直读湖上数据的三条主线整理:元数据怎么缓存与刷新、本地文件缓存怎么配、物化视图怎么接管高频查询。笔记里保留了两处关键默认值——Iceberg 元数据缓存 TTL 默认 86400 秒(官方 Iceberg Catalog 文档)、文 阅读全文
posted @ 2026-09-29 16:23 SeleectDB 阅读(16) 评论(0) 推荐(0)
摘要: 整理一次日志平台选型的过程记录。候选是 Loki、ELK 和 Apache Doris,评估维度是:存储成本、检索能力、分析能力、运维复杂度、以及和现有数据栈的关系。 结论是三者各有明确的适用边界,没有通用最优解。下面是评估表和最终的选择依据。 一、先说结论 三种方案的能力边界可以先用一句话区分: 阅读全文
posted @ 2026-09-28 17:09 SeleectDB 阅读(315) 评论(1) 推荐(1)
摘要: 记录一次线上 ES 集群的排查:磁盘占用 20 天内从 60% 涨到 88%,同时高峰期出现写入拒绝。 排查分三层:先看是什么在占空间,再看为什么写入被打满,最后判断是调参还是换引擎。这篇是完整的排查记录,包含用到的命令、改过的参数和最终的改造方案。 一、先说结论 磁盘暴涨与写入拒绝是同一个根因的两 阅读全文
posted @ 2026-09-24 16:31 SeleectDB 阅读(21) 评论(0) 推荐(0)