SparkStreaming+Kafka整合

SparkStreaming+Kafka整合

 

1.需求

使用SparkStreaming,并且结合Kafka,获取实时道路交通拥堵情况信息。

 

2.目的

对监控点平均车速进行监控,可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。

e.g.1.通过广播方式,让司机改道。

      2.通过实时交通拥堵情况数据,反映在一些APP上面,形成实时交通拥堵情况地图,方便用户查询。

 

3.架构

1.客户端产生数据,并且把数据发送到Kafka集群的spark-real-time-vehicle-log的topic中

2.SparkStreaming从Kakfa集群的Topic: spark-real-time-vehicle-log中读取数据

3.SparkStreaming使用窗口函数对数据流进行处理,每个5秒,处理过去1分钟的数据

4.把结果打印(这里也可以把结果保存到关系型数据库,供WebUI显示)

 

4.源码

RealTimeVehicleSpeedMonitorMain

 

5.效果 

 

6.更多

想要了解更多戳Spark Examples 准没错

 

========================================================

More reading,and english is important.

I'm Hongten

 

大哥哥大姐姐,觉得有用打赏点哦!你的支持是我最大的动力。谢谢。
Hongten博客排名在100名以内。粉丝过千。
Hongten出品,必是精品。

E | hongtenzone@foxmail.com  B | http://www.cnblogs.com/hongten

========================================================

 

posted @ 2019-01-25 12:16  Hongten  阅读(1288)  评论(4编辑  收藏
Fork me on GitHub