随笔分类 -  Scala

摘要:本项目是为网站日志流量分析做的基础:网站日志流量分析系统,Kafka、HBase集群的搭建可参考:使用Docker搭建Spark集群(用于实现网站流量实时分析模块),里面有关于该搭建过程 本次对接Kafka及HBase是基于使用Docker搭建Spark集群(用于实现网站流量实时分析模块)搭建的6个 阅读全文
posted @ 2020-02-03 20:21 coder、 阅读(1627) 评论(0) 推荐(0)
摘要:之前已经完成zookeeper集群、Hadoop集群、HBase集群、Flume、Kafka集群、Spark集群的搭建:使用Docker搭建Spark集群(用于实现网站流量实时分析模块),且离线分析模块已经在之前的模块中实现(网站日志流量分析系统之数据清洗处理(离线分析)),这次基于Docker搭建 阅读全文
posted @ 2019-12-28 13:55 coder、 阅读(1374) 评论(0) 推荐(0)
摘要:上一篇使用Docker搭建了Hadoop的完全分布式:使用Docker搭建Hadoop集群(伪分布式与完全分布式),本次记录搭建spark集群,使用两者同时来实现之前一直未完成的项目:网站日志流量分析系统(该系统目前用虚拟机实现了离线分析模块,实时分析由于资源问题尚未完成 这次spark集群用于该项 阅读全文
posted @ 2019-12-26 17:43 coder、 阅读(6046) 评论(0) 推荐(1)