2019年5月13日
Spark中的多线程并发处理
摘要： Spark中的多任务处理 Spark的一个非常常见的用例是并行运行许多作业。 构建作业DAG后，Spark将这些任务分配到多个Executor上并行处理。但这并不能帮助我们在同一个Spark应用程序中同时运行两个完全独立的作业，例如同时从多个数据源读取数据并将它们写到对应的存储，或同时处理多个文件等 阅读全文
posted @ 2019-05-13 14:39 吊车尾88 阅读(4998) 评论(0) 推荐(0)