摘要： 摘要：数据到达速度超过处理速度，就会堆积、OOM、延迟失控。反压（Backpressure）就是解决这个问题的——观察处理延迟，反过来动态调整拉取速度。这篇把反压背后的 PID 控制器原理讲清楚：P、I、D 三个参数各自起什么作用，反压是怎么闭环收敛的，以及它到底能解决什么、解决不了什么。 关键词： 阅读全文

摘要： 摘要：容错是流处理系统的底线——挂了能不能恢复、恢复后会不会丢数据或重复数据。这篇把 Spark Streaming 的容错拆成三个层面讲：数据容错（WAL 和 offset 自管理）、计算容错（RDD 血缘重算）、元数据容错（checkpoint），再对照 Receiver 和 Direct 两种 阅读全文

摘要： 摘要：Spark Streaming 的配置参数几十个，但真正需要你动手调的就那么几个，剩下的调错了反而添乱。这篇把参数按功能分六类，重点讲五个高频参数（blockInterval、反压、concurrentJobs、unpersist、stopGracefully）的默认值、什么时候该动、以及动了 阅读全文

摘要： 摘要：Direct 模式上线前有两个问题绕不开：并行度怎么调，offset 怎么管。前者很多人栽在"executor 加了不少，吞吐还是上不去"上——因为 Direct 模式的并行度天花板是 Kafka 分区数；后者决定你能否做到 exactly-once。这篇把这两个问题一次讲清，各给一套能落地的 阅读全文

摘要： 摘要：前面讲接收数据时提过，Receiver 模式是 Spark Streaming 早期的 Kafka 集成方式，Direct 模式是它的替代者。这篇把 Direct 模式讲透：它为什么没有 Receiver、offset 怎么自己管理、怎么靠"offset 和 Job 结果绑定"拿到 exact 阅读全文

摘要： 摘要：普通 Spark 作业 Driver 挂了，重跑就行；但 Spark Streaming 的 Driver 挂着的是"流处理的进度"——挂了不自动恢复，整个流就断在那一刻。这篇讲清 SparkStreaming Driver HA 靠什么实现（checkpoint 持久化 + YARN 自动重 阅读全文

摘要： 摘要：reduceByKey 统计的是"当前这个 batch"，但"最近 10 分钟的热门词""最近 1 小时的 PV"这类需求要看一个滚动的时间窗口。reduceByKeyAndWindow 就是干这个的。这篇讲清 windowDuration 和 slideDuration 两个参数怎么理解，窗 阅读全文

摘要： 摘要：前面的算子都是无状态的——每个 batch 算完就丢。但"累计词频""累计销售额""维护会话状态"这类需求，必须跨 batch 记住之前的结果，这就是 updateStateByKey 的用武之地。这篇拆解它最核心的 updateFunc 签名，讲清必须开 checkpoint 的原因，以及两 阅读全文

摘要： 摘要：上一篇讲了 foreachRDD 是"输出操作"，这篇讲它的姊妹算子 transform——一个"转换操作"，拿到 RDD 处理后返回新 RDD，让流继续往下算。它的真正价值在于：DStream 只有几十个算子，而 transform 让你能直接用 RDD 全套 API。这篇用黑名单过滤、实时 阅读全文

摘要： 摘要：foreachRDD 是 Spark Streaming 里最常用、也最容易写挂的输出算子。这篇讲清它和 transform 的区别——foreachRDD 在 Driver 端拿到 RDD、真正执行在 Executor 端，以及由此带来的一个高频坑：连接到底该建在哪。用三种连接方式的性能对比 阅读全文