随笔分类 -  spark

IDEA编写PySpark报错：UnsupportedFileSystemException: No FileSystem for scheme "E"
摘要：在Windows下编写PySpark，启动Spark时报错如下： 22/05/12 14:12:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java 阅读全文
posted @ 2022-05-12 14:16 斜杠代码日记 阅读(290) 评论(0) 推荐(0)
别再人云亦云了！！！你真的搞懂了RDD、DF、DS的区别吗？
摘要：几年前，包括最近，我看了各种书籍、教程、官网。但是真正能够把RDD、DataFrame、DataSet解释得清楚一点的、论据多一点少之又少，甚至有的人号称Spark专家，但在这一块根本说不清楚。还有国内的一些书籍，小猴真的想问一声：Are you OK？书名别再叫精通xxx技术了，请改名为 xxx技 阅读全文
posted @ 2021-02-21 16:09 斜杠代码日记 阅读(8347) 评论(2) 推荐(1)