zhaojiew10学习记录

摘要： dbt（data build tool）是一个开源的数据转换框架，定位在 ELT（Extract-Load-Transform）架构中的 Transform，即数据已经被提取并加载到数据平台后，由 dbt 负责在平台内部完成转换逻辑。与传统 ETL 中用 Python/Java 在外部编排转换不同， 阅读全文

摘要： 在数据湖架构中，如何高效地查询存储在 S3 上的数据一直是企业级应用的核心需求。AWS 推出的 S3 Tables 服务为 Apache Iceberg 格式提供了原生支持，结合 Trino 这类开源查询引擎，可以实现高性能的冰山表查询能力。 本文将详细介绍如何在 AWS 中国区环境下，配置 Tri 阅读全文

摘要： 本文部分内容AI辅助生成，请谨慎参考 企业在使用Redshift过程中，常会遇到硬件升级效果无法预判、dc2向ra3集群迁移性能未知、节点类型与数量难以合理规划、难以筛选高性价比配置等问题，而传统评估方式存在测试数据脱离真实业务场景、手动执行SQL效率低下、无法还原真实请求时间间隔与并发量、性能对比 阅读全文

摘要： 本文基于 AWS Strands SDK + MCP Server + EMR 构建 AI 驱动的 Spark 故障排查系统，总体架构如下 flowchart TB subgraph Client U[用户] end subgraph Agent_Layer SA[Strands Agent] MS 阅读全文

摘要： 如果要在EC2实例上测试microvm类型的sandbox，需要使用bare metal 实例才支持 KVM/Hyper-V。近期AWS 宣布虚拟 EC2 实例支持嵌套虚拟化，现在一台8系列就能跑 KVM。本文档记录了在 AWS EC2 嵌套虚拟化环境（c8i.2xlarge）部署 Cube San 阅读全文

摘要： 本文介绍如何使用开源 LLM 工程平台 Langfuse 对 GenAI 应用进行可观测性实践，涵盖追踪（Tracing）、Prompt 管理、评分（Scoring）和评估（Evaluation）等核心环节。 环境配置 部署langfuse参考 https://langfuse.com/self-h 阅读全文

摘要： 本文记录了在 AWS SageMaker Notebook 实例（ml.g4dn.xlarge，Tesla T4 16GB）上，使用 vLLM 和 transformers 部署 Qwen3-4B 与 Qwen3.5-4B 两个模型，并通过自定义基准测试进行对比评测的完整过程。 Qwen3-4B v 阅读全文

摘要： ecr-credential-provider的工作原理 Kubernetes 从 v1.20 开始引入 kubelet image credential provider 插件机制（KEP-2133），用于替代之前内置在 kubelet 中的云厂商镜像凭证逻辑。AWS 的实现就是 ecr-cred 阅读全文

摘要： Spark 任务提交模式 在 EMR 上，传统上 Spark 作业通过 spark-submit 提交到 YARN，有两种 deploy mode： cluster 模式（EMR 默认/推荐）：用户 SSH 到 Primary 节点 → spark-submit --deploy-mode clus 阅读全文

摘要： 在实际的 Java 应用运维中，我们经常遇到以下问题： CPU 飙高：某个线程死循环导致服务器负载过高 内存泄漏：对象无法被回收，最终导致 OOM 死锁：多个线程互相等待，系统挂起 线程池满：任务堆积，新任务无法执行 慢方法：某些接口响应时间过长 异常被吞：抛出异常但未记录，难以排查 这些问题在本地 阅读全文