摘要: 本文记录了在 AWS SageMaker Notebook 实例(ml.g4dn.xlarge,Tesla T4 16GB)上,使用 vLLM 和 transformers 部署 Qwen3-4B 与 Qwen3.5-4B 两个模型,并通过自定义基准测试进行对比评测的完整过程。 Qwen3-4B v 阅读全文
posted @ 2026-05-13 18:56 zhaojie10 阅读(14) 评论(0) 推荐(0)
摘要: ecr-credential-provider的工作原理 Kubernetes 从 v1.20 开始引入 kubelet image credential provider 插件机制(KEP-2133),用于替代之前内置在 kubelet 中的云厂商镜像凭证逻辑。AWS 的实现就是 ecr-cred 阅读全文
posted @ 2026-05-13 14:13 zhaojie10 阅读(3) 评论(0) 推荐(0)
摘要: Spark 任务提交模式 在 EMR 上,传统上 Spark 作业通过 spark-submit 提交到 YARN,有两种 deploy mode: cluster 模式(EMR 默认/推荐):用户 SSH 到 Primary 节点 → spark-submit --deploy-mode clus 阅读全文
posted @ 2026-05-13 11:34 zhaojie10 阅读(7) 评论(0) 推荐(0)
摘要: 在实际的 Java 应用运维中,我们经常遇到以下问题: CPU 飙高:某个线程死循环导致服务器负载过高 内存泄漏:对象无法被回收,最终导致 OOM 死锁:多个线程互相等待,系统挂起 线程池满:任务堆积,新任务无法执行 慢方法:某些接口响应时间过长 异常被吞:抛出异常但未记录,难以排查 这些问题在本地 阅读全文
posted @ 2026-05-12 22:56 zhaojie10 阅读(13) 评论(0) 推荐(0)
摘要: 本文记录了在 Amazon Keyspaces上实测 变更数据捕获(CDC)流 的完整过程,验证了从数据变更捕获到分析查询的端到端链路。整体框架如下 flowchart LR %% 样式定义 classDef table fill:#e1f5fe,stroke:#01579b,stroke-widt 阅读全文
posted @ 2026-05-12 16:20 zhaojie10 阅读(6) 评论(0) 推荐(0)
摘要: 本文档记录了基于 Amazon MSK(Managed Streaming for Apache Kafka)和 Amazon Glue Schema Registry (GSR) 的完整测试实践。通过实际操作验证了 GSR 如何实现 Schema 的自动注册、版本管理及兼容性控制,确保上游数据结构 阅读全文
posted @ 2026-05-12 00:09 zhaojie10 阅读(6) 评论(0) 推荐(0)
摘要: 本文分析了 AWS Elastic Beanstalk 于 2026 年初推出的 AI 驱动日志健康分析功能。 Elastic Beanstalk(以下简称 EB)是 AWS 托管的应用部署服务,屏蔽了底层基础设施的复杂性,让开发者可以专注于业务代码。然而,当环境出现故障时——部署失败、应用崩溃、健 阅读全文
posted @ 2026-05-06 11:15 zhaojie10 阅读(5) 评论(0) 推荐(0)
摘要: Amazon ECS Service 有三种独立的部署控制器类型(deploymentController.type): ECS,即ECS 自身管理部署,支持 ROLLING / BLUE_GREEN / LINEAR / CANARY 四种策略 CodeDeplo,即 CodeDeploy 管理蓝 阅读全文
posted @ 2026-04-25 15:13 zhaojie10 阅读(8) 评论(0) 推荐(0)
摘要: 近期MWAA推出了3.x版本(首个支持版本为 v3.0.6,于 2025 年 10 月发布),实际上Apache Airflow 从 2.x 升级到 3.x 是一次非常重大的底层重构。截至 2026 年 4 月,Airflow 3 已经步入 3.2.x 版本的稳定迭代期。 Airflow 2.x 架 阅读全文
posted @ 2026-04-25 02:33 zhaojie10 阅读(16) 评论(0) 推荐(0)
摘要: Apache Doris 是一款 MPP 分析型数据库,以亚秒级查询和简单运维著称。在 AWS 生态中,Doris 可以扮演多种角色——独立的分析引擎、弹性计算层、或数据湖加速层。根据业务场景的不同,我们在实践中总结出三种部署方案,各有取舍。 方案总览 方案一:存算一体 方案二:存算分离 + S3 阅读全文
posted @ 2026-04-22 11:51 zhaojie10 阅读(37) 评论(0) 推荐(0)