摘要： 我的spark hive架构的问题，是没有把hive/conf/hive.site.xml 放到spark/conf目录下 ln -s hive/conf/hive.site.xml /spark/conf/ 问题解决。之前有在hive.site.xml <property> <name>hive. 阅读全文

摘要： 1，flume所在的节点不和spark同一个集群 v50和 10-15节点 flume在v50里面 flume-agent.conf spark是开的work节点，就是单点计算节点，不涉及到master发送管理 只是用到了sparkStreming的实时功能 开启的是spark-shell不是spa 阅读全文

摘要： 运用到了spark2.0.0的grarhx包，要手动的在pom.xml里面添加依赖包，要什么就在里面添加依赖，然后在run-》maven install 阅读全文

摘要： 主要在maven-for-scalaIDE纠结了，因为在eclipse版本是luna4.x 里面有自己带有的maven。 根据网上面无脑的下一步下一步，出现了错误，在此讲解各个插件的用途，以此新人看见了，少走一些弯路。 其实主要的问题是自己独立去下载scala插件，把scala依赖包拷贝到eclip 阅读全文

摘要： 在做mapreduce的时候，ctrl+c 其实就是在doc命令下杀死了mapreduce显示，后台还是有在运行mapreduce的程序 可以http://namenode.hadoop:8088/ 还在运行 UI没有显示杀job 在doc hadoop job -list //显示job的id h 阅读全文

摘要： filter的理解 阅读全文