摘要： 本次学习了DStream无状态转换操作 DStream:RDD的集合 map(func) ：对源DStream的每个元素，采用func函数进行转换，得到一个新的Dstream flatMap(func)： 与map相似，但是每个输入项可用被映射为0个或者多个输出项 filter(func)： 返回一 阅读全文

摘要： 本次学习了spark Streaming里进行读取高级数据源的一些操作 进行安装kafka 网站：https://dblab.xmu.edu.cn/blog/1096/ 接下来在Ubuntu系统环境下测试简单的实例，按顺序执行如下命令： # 进入kafka所在的目录 cd /usr/local/ka 阅读全文

摘要： 本次学习学习了Spark的Streaming的一些外来输入源进行操作的形式 文件流 创建一个文件 [atguigu@hadoop102 ~]$ cd /usr/local/spark/mycode/ [atguigu@hadoop102 mycode]$ mkdir streaming [atgui 阅读全文

摘要： 本次学习学习了spark的流计算相干概念 静态数据和流计算 静态数据： 很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据，技术人员可以利用数据挖掘和OLAP（On-Line Analytical Processing）分析工具从静态数据中找到对企业有价值的信息 流数据 阅读全文