骑小象去远方

摘要： 在spark 1.4 jobserver 0.5 环境执行的时候,程序并没有出错. 在spark1.5 jobserver0.6 环境执行的时候出了上面的错误 所以肯定跟环境是有关系的.在spark-defaults.conf中设置serializer 为 org.apache.spark.seri 阅读全文

摘要： 今天在用程序通过hdfs拷贝数据至hadoop上的时候报了这个错误 当看到这个错误,以为可能是下面几个原因 1. datanode 挂了 2. datanode 没有空间了 3. datanode 与namenode或者客户端机的连接有问题 但是看了一下,没有这些问题. 接着在集群的客户端机上,通过 阅读全文