摘要：1、报错：ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /hadoop/application_1415632483774_448143/spark-loc... 阅读全文

摘要：这个问题的原因有几个：1、客户端安装的机器一般是虚拟机，虚拟机的名称可能是随便搞的，然而，yarn-client模式提交任务，是默认把本机当成driver的。所以导致其他的机器无法通过host的name直接访问这台机器。报错就是Failed to connect to driver at x.x.x... 阅读全文

摘要：1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository，然后添加到dependency里面。最笨的创建repository的办法就是直接创建... 阅读全文