大数据基础---ClouderaManager和CDH是什么?

1.CDH概述

CDH(Cloudra's Distribution Apache Of Hadoop)是Apache Hadoop和相关项目的最完整,经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件,并且是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。

CDH提供
  • 灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
  • 集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
  • 安全性-处理和控制敏感数据。
  • 可扩展性-启用广泛的应用程序并进行扩展,并扩展它们以满足您的要求。
  • 高可用性-自信地执行关键任务业务任务。
  • 兼容性-利用您现有的IT基础架构和投资。
Hadoop生态构成
  • HDFS:分布式文件系统
    • ZKFC:为实现NameNode高可用,在NameNode和Zookeeper之间传递信息,选举主节点工具。
    • NameNode:存储文件元数据
    • DateNode:存储具体数据
    • JournalNode:同步主NameNode节点数据到从节点NameNode
  • MapReduce:开源的分布式批处理计算框架
  • Spark:分布式基于内存的批处理框架
  • Zookeeper:分布式协调管理
  • Yarn:调度资源管理器
  • HBase:基于HDFS的NoSql列式数据库
  • Hive:将SQL转换为MapReduce进行计算
  • Hue:是CDH的一个UI框架
  • Impala:是Cloudra公司开发的一个查询系统,类似于Hive,可以通过SQL执行任务,但是它不基于MapReduce算法,而是直接执行分布式计算,这样就提高了效率。
  • oozie:是一个工作流调度引擎,负责将多个任务组合在一起按序执行。
  • kudu:Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用,可以进行增删改查。
  • Sqoop:将hadoop和关系型数据库互相转移的工具。
  • Flume:采集日志
  • 还有一些其它的
CDH结构图

2.Cloudra Manager概述

Cloudra Manager简称CM,它是一个web操作平台,可以借助安装CDH然后安装多种Hadoop框架。

CloudraManager技术构成

Clients:客户端,通过web页面和ClouderaManager和服务器进行交互。

API:通过API和ClouderaManagement和服务器进行交互

Cloudera Repository:存储分发安装包

Management Server:进行监控和预警

Database:存储预警信息和配置信息。

Agent:分布在多台服务器,负责配置,启动和停止进程。监控主机。

结构图如下:

3Al0jP.png

系列传送门

posted @ 2020-02-18 15:09  数据驱动  阅读(1741)  评论(0编辑  收藏  举报