12 2015 档案

spark sql cli 配置使用
摘要：想使用spark sql cli 直接读取hive中表来做分析的话只需要简答的几部设置就可以了1.拷贝hive-site.xml 至spark confcd /usr/local/hive/conf/hive-site.xml /usr/local/spark-1.5.1/conf/2.配置spar... 阅读全文
posted @ 2015-12-28 15:05 骑小象去远方 阅读(1476) 评论(0) 推荐(1)
spark的部署方式
摘要：一直以为spark区分几种集群的模式是由配置更改而改变.经过使用发现,区分这几种模式的在于启动命令时指定的master.现在保持我的配置文件不变.#公共配置export SCALA_HOME=/usr/local/scala/export JAVA_HOME=/usr/lib/jvm/java-1.... 阅读全文
posted @ 2015-12-25 11:53 骑小象去远方 阅读(690) 评论(0) 推荐(0)
删除git上已经提交的文件
摘要：1.先查看有哪些文件可以删除,但是不真执行删除git rm -r -n job-executor-common/target/*-r递归移除目录-n加上这个参数，执行命令时，是不会删除任何文件，而是展示此命令要删除的文件列表预览，所以一般用这个参数先看看要删除哪些文件，防止误删，确认之后，就去掉此参... 阅读全文
posted @ 2015-12-14 20:00 骑小象去远方 阅读(7681) 评论(0) 推荐(1)