摘要: Hadoop 3.0 纠删码技术分析(Erasure Coding) 背景 随着大数据技术的发展,HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性,HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本,1TB的原始数据需要占用3TB的磁盘空间,存储利用率只有1/ 阅读全文
posted @ 2017-11-24 12:06 basenet855x 阅读(13664) 评论(0) 推荐(1) 编辑
摘要: 一、简介 Hadoop Distributed File System:Hadoop 分布式文件系统,简称HDFS。简单来说就是一个文件系统,和我们平时使用 Linux 系统操作非常类似。如下图: 二、HDFS 经典架构 三、HDFS HA 架构 四、HDFS Federation 架构 五、HDF 阅读全文
posted @ 2017-11-21 20:39 basenet855x 阅读(403) 评论(0) 推荐(0) 编辑
摘要: 一、概述: 根据 Ambari Server 架构 文章中的介绍,由于 Ambari Server 和 Ambari Agent 之间是通过 HTTP 短连接进行通信,所以 Server 无法把需要执行的 Command,直接推送给 Agent,而是需要把命令存储在 ActionQueue 中, 然 阅读全文
posted @ 2017-05-11 16:22 basenet855x 阅读(1593) 评论(0) 推荐(0) 编辑
摘要: 一、前端通过 Rest 接口提交配置修改请求: 接口:[PUT] /api/v1/clusters/{clustername} 请求: 二、服务端操作数据库1、clusterconfig 表记录(参考 Ambari Server 配置多版本功能实现分析)2、serviceconfig 表记录(参考 阅读全文
posted @ 2017-05-08 13:20 basenet855x 阅读(3604) 评论(0) 推荐(0) 编辑
摘要: 配置组是为了实现不同主机、不同配置这个功能。 配置组 表关系图: configgroup:配置组的基本信息 configgrouphostmapping:配置组对应的主机 confgroupclusterconfigmapping: 配置组对应的配置 clusterconfig:配置文件表 举一个例 阅读全文
posted @ 2017-05-08 11:35 basenet855x 阅读(856) 评论(0) 推荐(0) 编辑
摘要: 配置多版本 表关系图: serviceconfig:服务配置表,version 最大的那条记录为 当前生效的配置 clusterconfig:配置文件表 serviceconfigmaping:服务和配置文件的对应关系表 举一个例子: serviceconfig 表: serviceconfigma 阅读全文
posted @ 2017-05-08 11:31 basenet855x 阅读(1511) 评论(0) 推荐(0) 编辑
摘要: Metrics Monitor 架构图,由图中看,主要有4部分:psutil:一个跨平台的系统信息采集 Python 模块。metric_collector:周期性(默认为5s)采集系统信息,并存储到 ApplicationMetricMap 当中。ApplicationMetricMap:数据容器 阅读全文
posted @ 2017-04-28 17:47 basenet855x 阅读(978) 评论(0) 推荐(0) 编辑
摘要: Metrics Collector 架构图,由图中看,主要有4部分:TimelineWebServices:是一个Web服务,一方面提供 Metrics Monitor 和 Metrics Sink 汇报监控数据的 POST 接口;另一方面提供 Ambari Server 查询监控数据的 GET 接 阅读全文
posted @ 2017-04-28 17:46 basenet855x 阅读(2158) 评论(5) 推荐(0) 编辑
摘要: Ambari Agent 架构图,由图中看,主要有3部分: HeartBeatHandler:发送 HTTP 请求和 Ambari Server 进行交互。ActionExecutor:Command 执行器。AlertSchedulerHandler:Alert 处理器。 4个数据容器: Comm 阅读全文
posted @ 2017-04-28 17:45 basenet855x 阅读(926) 评论(0) 推荐(0) 编辑
摘要: Ambari Server 架构图,由图中看,主要有4部分: Resource Service:资源服务,用来接收前端的 Rest 请求。关于 Resource 的几个基本概念: Resource:Ambari Server 定义了各种各样的 Resource,比如 Config、User、Clus 阅读全文
posted @ 2017-04-14 18:30 basenet855x 阅读(1522) 评论(2) 推荐(0) 编辑