摘要: 转载自:https://yq.aliyun.com/articles/60194 摘要: 这篇文章的主旨在于让你了解Spark UI体系,并且能够让你有能力对UI进行一些定制化增强。在分析过程中,你也会深深的感受到Scala语言的魅力。 前言 有时候我们希望能对Spark UI进行一些定制化增强。并 阅读全文
posted @ 2018-06-07 22:26 大葱拌豆腐 阅读(1024) 评论(0) 推荐(0)
摘要: 转载自:https://yq.aliyun.com/articles/60196 摘要: Spark 事件体系的中枢是ListenerBus,由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是Metrics 阅读全文
posted @ 2018-06-07 22:18 大葱拌豆腐 阅读(532) 评论(0) 推荐(0)
摘要: 在项目开发中在很多地方都要做单元测试,在做Spark项目时使用Scala开发.所以总结一下Scala中的单元测试: 在Maven pom文件中添加依赖: 运行: 使用Intelij IDEA,把光标点击在方法名那一行上,右键,run。 阅读全文
posted @ 2018-06-07 17:37 大葱拌豆腐 阅读(4351) 评论(0) 推荐(0)