05 2022 档案

多个NameNode的HDFS集群切换HA后，Spark应用变得很慢的处理办法
摘要：Spark客户端需要依次轮询到Active NameNode才能正确执行。 查看hdfs-site.xml配置，配置在hdfs-site.xml中的FailoverProxyProvider接口为ConfiguredFailoverProxyProvider。源码实现为：从hdfs-site.xml 阅读全文
posted @ 2022-05-15 09:55 斜杠代码日记 阅读(313) 评论(0) 推荐(0)
IDEA编写PySpark报错：UnsupportedFileSystemException: No FileSystem for scheme "E"
摘要：在Windows下编写PySpark，启动Spark时报错如下： 22/05/12 14:12:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java 阅读全文
posted @ 2022-05-12 14:16 斜杠代码日记 阅读(326) 评论(0) 推荐(0)