摘要：执行spark任务时，每次启动后，少则一个小时，多则两三天左右，任务就会死掉，yarn日志报错见下图： For more detailed output, check application tracking page:http:/xxx:8088/cluster/app/application_1 阅读全文

摘要：1 Spark的RDD 提到Spark必说RDD，RDD是Spark的核心，如果没有对RDD的深入理解，是很难写好spark程序的，但是网上对RDD的解释一般都属于人云亦云、鹦鹉学舌，基本都没有加入自己的理解。本文基于Spark原创作者的论文，对Spark的核心概念RDD做一个初步的探讨，希望能帮助 阅读全文