随笔 - 47  文章 - 0 评论 - 0 trackbacks - 0

摘要:通常当我们计算的数据超过了单机维度,比如我们的PC内存共8G,而需要计算的数据为100G,这时候我们通常选择大数据集群进行计算。 Spark是大数据处理的计算引擎。,这是它的发展是为了解决替代Hadoop的MapReduce计算引擎。 Hadoop的架构如下,核心包括两点:Hdfs和MapReduc 阅读全文
posted @ 2020-03-01 14:51 知己一生 阅读(75) 评论(0) 推荐(0) 编辑