摘要：
本文主要内容为启动 OpAMP server 并在运行时把 otel collector 配置推下去、被支持的字段能否实际生效（处理器注入属性 / 管道增删 / 配置回滚 / 错误状态回报） 概念与理论 OpAMP 协议 OpAMP 全称 Open Agent Management Protocol 阅读全文
posted @ 2026-05-29 10:41
zhaojie10
阅读(43)
评论(0)
推荐(0)
摘要：
本文端到端验证了 OpenLIT 三层可观测性栈（GPU eBPF / LLM eBPF / Agent SDK 注入）能否在真实 AI Agent 场景下产出可关联的全链路 trace。 概念与理论 可观测性的三层模型 传统 Web/Microservice 可观测性关心的是请求 → 服务 → 数 阅读全文
posted @ 2026-05-28 22:06
zhaojie10
阅读(96)
评论(0)
推荐(0)
摘要：
环境配置 数据上传 创建 S3 Bucket aws s3 mb s3://redshift-lab-data-xxxxxxxxxx --region cn-north-1 使用 Python 脚本生成 TICKIT 测试数据集（模拟票务系统）： import csv import random f 阅读全文
posted @ 2026-05-27 02:38
zhaojie10
阅读(20)
评论(0)
推荐(0)
摘要：
Amazon Redshift 是 AWS 提供的完全托管的 PB 级云数据仓库服务。它专为在线分析处理（OLAP）服务 数据库系统的设计哲学可以根据使用场景划分为两大类别：OLTP（Online Transaction Processing）和 OLAP（Online Analytical Pro 阅读全文
posted @ 2026-05-26 18:55
zhaojie10
阅读(38)
评论(0)
推荐(0)
摘要：
Ray 集群原理 Ray 是为分布式 Python 应用设计的执行框架，核心抽象是两类： Task无状态远程函数，通过 @ray.remote 装饰，调用产生 ObjectRef（future） Actor有状态远程对象，每个 actor 实例对应一个 worker 进程，生命周期独立于调用方 Ra 阅读全文
posted @ 2026-05-25 16:40
zhaojie10
阅读(115)
评论(0)
推荐(0)
摘要：
构建完整的实时数据分析管道，实现点击流数据的实时采集、处理和可视化，涵盖 Schema Registry 原理、Flink 时间窗口机制等。 总体架构如下 flowchart LR subgraph 数据生产 A[Java Producer<br/>Avro 序列化] end subgraph 消息 阅读全文
posted @ 2026-05-24 23:24
zhaojie10
阅读(28)
评论(0)
推荐(0)
摘要：
想象你是一家电商公司的数据分析师。每天有大量数据进入数据库：用户订单、商品库存、用户行为日志等。如果数据有问题（比如订单金额是负数、用户邮箱格式错误、同一订单号出现两次），你的分析结果就是错的，业务决策也会出错。 概念和理论 数据质量管理就是一套方法和工具，用来： 定义规则：比如"邮箱必须符合格式" 阅读全文
posted @ 2026-05-24 22:04
zhaojie10
阅读(142)
评论(0)
推荐(0)
摘要：
本文在 AWS 中国区（cn-north-1）实现 Docker 自建 Kafka 与 AWS Lambda + Glue Schema Registry 的完整集成。Kafka 运行在 EC2 实例上，Lambda 通过 VPC 内网消费消息，使用 Avro 格式进行数据序列化。 整体的数据流图如 阅读全文
posted @ 2026-05-24 20:44
zhaojie10
阅读(15)
评论(0)
推荐(0)
摘要：
本文记录了一个完整的端到端 CDC（Change Data Capture）数据管道的构建过程：从 PostgreSQL 数据库的变更捕获，到 Kafka 消息队列的实时传输，再到 Flink SQL 的流式处理，最终写入 Paimon 数据湖表。整个过程涵盖架构设计、Docker 容器编排、依赖问 阅读全文
posted @ 2026-05-24 19:15
zhaojie10
阅读(86)
评论(0)
推荐(0)
摘要：
在现代数据架构中，数据血缘（Data Lineage）已经成为数据治理的核心能力。它帮助数据工程师追踪数据从源头到终点的完整流转路径，理解数据 transformations，识别数据质量问题的影响范围。LinkedIn 开源的 DataHub 是第三代数据目录平台的代表，它采用流式架构实现实时元数 阅读全文
posted @ 2026-05-23 23:58
zhaojie10
阅读(88)
评论(0)
推荐(0)
浙公网安备 33010602011771号