配置spark历史服务出错java.net.ConnectException: Call From hadoop102/192.168.230.102 to hadoop102:8020 failed on connection exception
错误如下:
因为我配置spark的历史纪录文件夹的路径在hdfs上面,spark需要访问hdfs,所以编辑spark-defaults.conf文件的时候,spark.eventLog.dir的值的主机名端口号要和你hadoop中配置文件core-site中fs.defaultFS的值一致,并且文件夹要已经存在。
比如我的如上所示,我把spark.eventLog.dir改为hdfs://hadoop102:9000/directory就行了