[置顶] Spark运行调试方法与学习资源汇总
摘要： 最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下：解决spark运行调试问题的四把“尖刀”：1、Log包括控制台日志、主从节点日志、HDFS日志等... 阅读全文
posted @ 2014-06-19 16:58 斯巴克 阅读(1354) 评论(3) 推荐(0)
2014年6月
[Apache Spark源码阅读]天堂之门——SparkContext解析
摘要： 稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkC... 阅读全文
posted @ 2014-06-19 16:09 斯巴克 阅读(1726) 评论(0) 推荐(0)