火丶日月明

摘要： 一、spark Streaming是基于spark的流式批处理引擎 原理：将实时输入数据流以时间片为单位进行拆分，然后经过spark引擎以类似批处理的方式处理每个时间片数据 二、sparkStreaming作业流程 1.客户端提交作业后启动Driver（Driver是spark作业的Master）； 阅读全文

摘要： 一、spark的特点 1.快速的 2.容易使用的 3.通用的 4.开放的 二、spark组件 sparkCore sparkSQL sparkStreaming MLibmachielearning GraphXgraphprocessing 三、函数、数组、map和tuple 阅读全文