2021年3月12日
02 Spark架构与运行流程
摘要： 1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统 Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上， 阅读全文
posted @ 2021-03-12 17:35 Frank05 阅读(85) 评论(0) 推荐(0) 编辑
2021年3月1日
01 大数据概述
摘要： 1.用图表描述Hadoop生态系统的各个组件及其关系。 MapReduce：主要由Google Reduce而来，它简化了大型数据的处理，是一个并行的，分布式处理的编程模型。 YARN的全称是Yet-Another-Resource-Negotiator。Yarn可以运用在S3|Spark等上。ha 阅读全文
posted @ 2021-03-01 20:06 Frank05 阅读(71) 评论(0) 推荐(0) 编辑