随笔分类 -  spark/core

spark core 目录下的代码笔记
摘要:Spark RPC 使用说明 概述 Server端示例代码 Client端示例代码 object ZsparkRpcClient{ def main(args: Array[String]): Unit = { val host=Utils.localHostName() val port=2345 阅读全文
posted @ 2018-02-03 16:42 vv.past 阅读(197) 评论(0) 推荐(0)
摘要:fire spark fire spark是一个集成了spark 相关的一些工具集,提供用户构建一个标准的可管理的spark 项目 其中包含了spark streaming相关的一些依赖和封装,以及spark streaming kafka需要的相关工具 "详细介绍和使用示例" 阅读全文
posted @ 2018-02-03 11:41 vv.past 阅读(506) 评论(0) 推荐(0)
摘要:记录spark streaming 中监听器StreamingListener的相关信息 概述 代码记录 示例代码 示例代码应用 阅读全文
posted @ 2018-01-31 16:23 vv.past 阅读(2543) 评论(0) 推荐(0)
摘要:这里记录一下SparkListener一些常用的监听使用方式 概述 代码记录 示例代码 示例代码使用 阅读全文
posted @ 2018-01-31 16:02 vv.past 阅读(2437) 评论(0) 推荐(0)