2021年3月14日
02 Spark架构与运行流程
摘要： 1.为什么要引入Yarn和Spark 1.部署Application和服务更加方便 只需要yarn服务，包括Spark，Storm在内的多种应用程序不要要自带服务，它们经由客户端提交后，由yarn提供的分布式缓存机制分发到各个计算节点上。 2.资源隔离机制 yarn只负责资源的管理和调度，完全由用户 阅读全文
posted @ 2021-03-14 10:21 GypsophiIas 阅读(38) 评论(0) 推荐(0) 编辑
2021年3月2日
大数据概述
摘要： 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 阅读全文
posted @ 2021-03-02 20:21 GypsophiIas 阅读(95) 评论(0) 推荐(0) 编辑