摘要:
前面有提到MapReduce 框架采用非循环式的数据流模型,把中间结果写入到 HDFS 中,带来了大量的数据复制、磁盘 IO 和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。因此出现了RDD这个概念。RDD(Resilient Distrib 阅读全文
posted @ 2023-11-24 22:08
zhangmingmingkjz
阅读(11)
评论(0)
推荐(0)
2023年11月24日