摘要:需求:使用SparkStreaming,并且结合Kafka,获取实时道路交通拥堵情况信息。 目的: 对监控点平均车速进行监控,可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。 e.g.1.通过广播方式,让司机改道。 2.通过实时交通拥堵情况数据,反映在一些APP上面,形成实时交通拥堵情况地图,方便用户查询。 阅读全文
posted @ 2019-01-25 12:16 Hongten 阅读 (718) 评论 (4) 编辑
摘要:Hive+Sqoop+Mysql整合 在本文中,LZ随意想到了一个场景: 车,道路,监控,摄像头 阅读全文
posted @ 2019-01-16 17:48 Hongten 阅读 (629) 评论 (0) 编辑
摘要:crontab - 定时任务 我的操作系统版本是CentOS-6 1.查看是否安装 阅读全文
posted @ 2019-01-06 17:59 Hongten 阅读 (88) 评论 (0) 编辑
摘要:Hive与Hbase整合 1.文档   Hive HBase Integration 阅读全文
posted @ 2019-01-06 15:17 Hongten 阅读 (359) 评论 (0) 编辑
摘要:Sqoop 本文所使用的Sqoop版本为1.4.6 1.官网 阅读全文
posted @ 2019-01-05 18:00 Hongten 阅读 (306) 评论 (0) 编辑
摘要:Flume+Kafka+Storm+Hbase+HDSF+Poi整合 需求: 针对一个网站,我们需要根据用户的行为记录日志信息,分析对我们有用的数据。 阅读全文
posted @ 2018-12-21 16:50 Hongten 阅读 (690) 评论 (0) 编辑
摘要:Flume+Kafka+Storm整合 1. 需求: 有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-kafka 阅读全文
posted @ 2018-12-18 17:09 Hongten 阅读 (550) 评论 (0) 编辑
摘要:本文主要讲elasticsearch-2.2.1的安装过程。 准备工作: 阅读全文
posted @ 2018-11-21 18:09 Hongten 阅读 (670) 评论 (0) 编辑
摘要:本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本,因为Hadoop的不同版本,源码可能是不同的。 以下是本文的大纲: 阅读全文
posted @ 2018-11-21 12:37 Hongten 阅读 (430) 评论 (0) 编辑
摘要:Hbase提供了丰富的Java API,以及线程池操作,下面我用线程池来展示一下使用Java API操作Hbase。 项目结构如下: 阅读全文
posted @ 2018-11-08 13:59 Hongten 阅读 (455) 评论 (1) 编辑
Fork me on GitHub