2018年5月14日

使用idea编译spark2.2.0和解决运行sparkPi遇到的问题（详细）

摘要： 目录： 1.使用阿里云的Maven仓库加速Spark编译过程 2.使用idea导入spark源码 3.解决几处build报错问题 4.使用idea编译spark生成部署包 5.jar包位置 6.运行源码example的sparkPi.scala遇到的问题解决 7.调试spark core源码 1.使 阅读全文

posted @ 2018-05-14 11:37 moonlight.ml 阅读(2851) 评论(0) 推荐(0)

scala打印error，debug，info

摘要： 1.以wordcount为例 2.控制台输出结果： 阅读全文

posted @ 2018-05-14 10:21 moonlight.ml 阅读(365) 评论(0) 推荐(0)

scala如何在任意方法中打印当前线程栈信息(StackTrace)

摘要： 1.以wordcount为例 2.输出结果： 阅读全文

posted @ 2018-05-14 10:07 moonlight.ml 阅读(1182) 评论(0) 推荐(0)

通过打印调用堆栈进行spark源码跟读（转）

摘要： 参考：<一>如何进行代码跟读 使用maven编译的源码也可使用这一方法。 概要 今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，Spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外Spark基于Akka来进行消息交 阅读全文

posted @ 2018-05-14 09:08 moonlight.ml 阅读(498) 评论(0) 推荐(0)

导航