摘要： 在集群上运行 spark 时候，对 RDD 进行 foreach(print) 并没有打印任何内容，这是怎么回事呢？ 这是因为 RDD 运行在各个 worker 上，foreach 是对 各个 worker 上的 RDD partition 进行操作，要打印也是打印在 worker 终端，所以驱动节 阅读全文

摘要： 在运行 spark 程序时，出于某种原因，我想停止运行，狂按 ctrl+c 不一定起作用 以下两种情况是不好关闭的 1. cluster 运行模式 2. SparkStreaming 程序 本文旨在收集关闭这些程序的小技巧 1. 在程序中监听某个文件，如果文件存在，即停止运行 如果我们想停止程序，在 阅读全文