随笔分类 -  Spark Streaming流处理

学习工作过程对Spark Streaming流处理的相关知识的收录
项目实战
该文被密码保护。
posted @ 2019-11-05 13:57 TrueKai 阅读(7) 评论(0) 推荐(0)
Spark Streaming文档理解
摘要：0）摘要 本章博客是对Spark Streaming2.20文档（http://spark.apache.org/docs/2.2.0/streaming-programming-guide.html）的一些梳理，加上代码实现了一些算子，最后写了Spark Streaming如何整合SparkSQL 阅读全文
posted @ 2019-10-29 15:41 TrueKai 阅读(323) 评论(1) 推荐(0)
基于Centos7编译spark指定Hadoop版本
摘要：基于Centos7编译Spark 0 摘要 主要探究了如何对spark源码进行编译，以及普及了一下Maven中的-P,-D的意义以及我在编译过程中遇到的两个坑。为什么需要编译spark源码呢？官网已经提供了预编译的版本了啊，但是如果你对spark源码进行了修改或者spark提供了相对应的hadoop 阅读全文
posted @ 2019-10-19 14:16 TrueKai 阅读(709) 评论(1) 推荐(0)