摘要:
需求:使用SparkStreaming,并且结合Kafka,获取实时道路交通拥堵情况信息。 目的: 对监控点平均车速进行监控,可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。 e.g.1.通过广播方式,让司机改道。 2.通过实时交通拥堵情况数据,反映在一些APP上面,形成实时交通拥堵情况地图,方便用户查询。 阅读全文
摘要:
Hive+Sqoop+Mysql整合
在本文中,LZ随意想到了一个场景:
车,道路,监控,摄像头 阅读全文
摘要:
crontab - 定时任务
我的操作系统版本是CentOS-6
1.查看是否安装 阅读全文
摘要:
Hive与Hbase整合
1.文档
Hive HBase Integration 阅读全文
摘要:
Sqoop
本文所使用的Sqoop版本为1.4.6
1.官网 阅读全文
摘要:
Flume+Kafka+Storm+Hbase+HDSF+Poi整合
需求:
针对一个网站,我们需要根据用户的行为记录日志信息,分析对我们有用的数据。 阅读全文
摘要:
Flume+Kafka+Storm整合
1. 需求:
有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-kafka 阅读全文
摘要:
本文主要讲elasticsearch-2.2.1的安装过程。
准备工作: 阅读全文
摘要:
本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本,因为Hadoop的不同版本,源码可能是不同的。
以下是本文的大纲: 阅读全文
摘要:
Hbase提供了丰富的Java API,以及线程池操作,下面我用线程池来展示一下使用Java API操作Hbase。
项目结构如下: 阅读全文