2021年2月2日

sparkContext的addFile和addPyFile

摘要: addFile(path, recursive=False) 把文件分发到集群中每个worker节点,然后worker会把文件存放在临时目录下,spark的driver和executor可以通过pyspark.SparkFiles.get()方法来获取文件的路径,从而能够保证driver和每个wor 阅读全文

posted @ 2021-02-02 19:22 ExplorerMan 阅读(1288) 评论(0) 推荐(0)

一位大龄程序员所经历的面试的历炼和思考

摘要: 引子准备工作面试历炼小结 从每一段经历中学习,在每一件事情中修行。善于从失败中学习。 引子 我今年 36 岁,已有 8 年 JAVA 开发经验。在阿里云三年半,有赞四年半,已是标准的大龄程序员了。 在多年的读书、学习和思考中,我的价值观、人生观和世界观也逐步塑造成型。我意识到自己的志趣在于做教育文化 阅读全文

posted @ 2021-02-02 11:46 ExplorerMan 阅读(247) 评论(0) 推荐(0)

导航