2020年3月31日
Window7 开发Spark代码分析 Nginx 日志(JAVA版本)
摘要： 通过上文 Window7 开发 Spark 应用 ,展示了如何开发一个Spark应用，但文中使用的测试数据都是自己手动录入的。 所以本文讲解一下如何搭建一个开发闭环，本里使用了Nginx日志采集分析为例，分析页面访问最多的10个,404页面的10。 如果把这些开发成果最终展示到一个web网页中，在这 阅读全文
posted @ 2020-03-31 18:33 phpdragon 阅读(631) 评论(0) 推荐(0) 编辑
Window7 开发 Spark 应用(JAVA版本)
摘要： WordCount是大数据学习最好的入门demo，今天就一起开发java版本的WordCount，然后提交到Spark3.0.0环境运行； 版本信息 OS： Window7 JAVA：1.8.0_181 Hadoop：3.2.1 Spark: 3.0.0-preview2-bin-hadoop3.2 阅读全文
posted @ 2020-03-31 18:32 phpdragon 阅读(816) 评论(0) 推荐(0) 编辑
Centos7 搭建 Flume 搭配 Hadoop 采集 Nginx 日志
摘要： 本文目的是根据前文的博文，打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 阅读全文
posted @ 2020-03-31 18:22 phpdragon 阅读(1306) 评论(0) 推荐(0) 编辑