摘要: 一、spark Streaming是基于spark的流式批处理引擎 原理:将实时输入数据流以时间片为单位进行拆分,然后经过spark引擎以类似批处理的方式处理每个时间片数据 二、sparkStreaming作业流程 1.客户端提交作业后启动Driver(Driver是spark作业的Master); 阅读全文
posted @ 2018-07-25 19:53 火丶日月明 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 一、spark的特点 1.快速的 2.容易使用的 3.通用的 4.开放的 二、spark组件 sparkCore sparkSQL sparkStreaming MLibmachielearning GraphXgraphprocessing 三、函数、数组、map和tuple 阅读全文
posted @ 2018-07-25 19:37 火丶日月明 阅读(221) 评论(0) 推荐(0) 编辑