Fork me on GitHub
2020年8月11日
pyspark之textFile和parallelize对应的分区数目
摘要： textFile： defaultParallelism=max(totalCoreCount,2) min(defaultParallelism,2) parallelize： max(totalCoreCount,2) 假设是4核的，那么： 对于textFile： defaultParallel 阅读全文
posted @ 2020-08-11 22:38 西西嘛呦 阅读(514) 评论(0) 推荐(1)
pyspark之从HDFS上读取文件、从本地读取文件
摘要： hdfs上的路径： path="hdfs:///主机名:端口号/地址" 本地上的路径： path"file:///本地地址" 读取文件： rdd=sc.textFile(path) 阅读全文
posted @ 2020-08-11 22:22 西西嘛呦 阅读(4068) 评论(0) 推荐(0)