2017年5月18日
hive spark mysql
摘要： 我的spark hive架构的问题，是没有把hive/conf/hive.site.xml 放到spark/conf目录下 ln -s hive/conf/hive.site.xml /spark/conf/ 问题解决。之前有在hive.site.xml <property> <name>hive. 阅读全文
posted @ 2017-05-18 16:42 werdp禹耘 阅读(221) 评论(0) 推荐(0)
2016年9月28日
flume+sparkStreaming实例 实时监控文件demo
摘要： 1，flume所在的节点不和spark同一个集群 v50和 10-15节点 flume在v50里面 flume-agent.conf spark是开的work节点，就是单点计算节点，不涉及到master发送管理 只是用到了sparkStreming的实时功能 开启的是spark-shell不是spa 阅读全文
posted @ 2016-09-28 10:56 werdp禹耘 阅读(697) 评论(0) 推荐(0)
2016年8月19日
maven+spark2.0.0最大连通分量
摘要： 运用到了spark2.0.0的grarhx包，要手动的在pom.xml里面添加依赖包，要什么就在里面添加依赖，然后在run-》maven install 阅读全文
posted @ 2016-08-19 15:33 werdp禹耘 阅读(242) 评论(0) 推荐(0)
Eclipse+maven+scala2.11.8+spark2.0.0的环境部署
摘要： 主要在maven-for-scalaIDE纠结了，因为在eclipse版本是luna4.x 里面有自己带有的maven。 根据网上面无脑的下一步下一步，出现了错误，在此讲解各个插件的用途，以此新人看见了，少走一些弯路。 其实主要的问题是自己独立去下载scala插件，把scala依赖包拷贝到eclip 阅读全文
posted @ 2016-08-19 11:29 werdp禹耘 阅读(1259) 评论(0) 推荐(0)
2016年8月5日
杀死mapreduce
摘要： 在做mapreduce的时候，ctrl+c 其实就是在doc命令下杀死了mapreduce显示，后台还是有在运行mapreduce的程序 可以http://namenode.hadoop:8088/ 还在运行 UI没有显示杀job 在doc hadoop job -list //显示job的id h 阅读全文
posted @ 2016-08-05 16:10 werdp禹耘 阅读(178) 评论(0) 推荐(0)
2015年6月28日
filter-自己的理解
摘要： filter的理解 阅读全文
posted @ 2015-06-28 17:48 werdp禹耘 阅读(315) 评论(0) 推荐(0)