随笔分类 -  hadoop

资源控制平台介绍与YARN的优缺点
摘要:Yarn脱胎于MRv1,并克服了MRv1的种种不足。先来看看MRv1让人诟病的地方,主要是可靠性差、扩展性差、资源利用率低、无法支持异构的计算框架:1.可靠性差: MRv1是主从架构,主节点的JobTracker一旦出现问题就会导致整个集群不可用。2.扩展性差: MR... 阅读全文

posted @ 2018-06-05 15:13 sichenzhao 阅读(562) 评论(0) 推荐(0)

Hadoop2源码分析-YARN RPC 示例介绍
摘要:原博客:https://www.cnblogs.com/smartloli/p/4664842.2.YARN的RPC介绍 我们知道在Hadoop的RPC当中,其主要由RPC,Client及Server这三个大类组成,分别实现对外提供编程接口、客户端实现及服务端实现。... 阅读全文

posted @ 2018-06-02 11:22 sichenzhao 阅读(373) 评论(0) 推荐(0)

MapReduce和YARN区别
摘要:原hadoop框架中MapReduce的问题从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路:1.首先用户程序 (JobClient) 提交了一个 job,job 的信息会发送到 Job Tracker 中,Job Tracker 是 Map-red... 阅读全文

posted @ 2018-05-31 18:43 sichenzhao 阅读(1088) 评论(0) 推荐(1)

docker进入容器的四种方法
摘要:在使用Docker创建了容器之后,大家比较关心的就是如何进入该容器了,其实进入Docker容器有好几多种方式,这里我们就讲一下常用的几种进入Docker容器的方法。进入Docker容器比较常见的几种做法如下:1.使用docker attach2.使用SSH3.使用ns... 阅读全文

posted @ 2018-05-31 14:36 sichenzhao 阅读(421) 评论(0) 推荐(0)

ETCD简介
摘要:随着CoreOS和Kubernetes等项目在开源社区日益火热,它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库,渐渐为开发人员所关注。etcd是一个高可用的键值存储系统,主要用于共享键值仓库和服务发现。etcd是由CoreOS开发并维护的,灵... 阅读全文

posted @ 2018-05-30 17:29 sichenzhao 阅读(284) 评论(0) 推荐(0)

分布式系统的Raft算法
摘要:过去, Paxos一直是分布式协议的标准,但是Paxos难于理解,更难以实现,Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。来自Stanford的新的分布式协议研究称为Raft,它是一个为真实世界应用建立的协议,实现分布式系统数据的可用性和... 阅读全文

posted @ 2018-05-30 16:06 sichenzhao 阅读(121) 评论(0) 推荐(0)

kubernetes组件与核心概念介绍
摘要:节点(Node):一个节点是一个运行 Kubernetes 中的主机。作为Kubernetes worker,通常称为Minion。每个节点都运行如下Kubernetes关键组件:Kubelet:是主节点代理。Kube-proxy:Service使用其将链接路由到Po... 阅读全文

posted @ 2018-05-30 11:41 sichenzhao 阅读(207) 评论(0) 推荐(0)

Kubernetes简介
摘要:Kubenetes(k8s)是一款由Google开发的开源的容器编排工具,在Google使用已经超过15年。那么k8s是用来解决集群容器运行时的什么问题呢?调度需要确保应用程序能够运行在它应该运行的地方。将应用运行在集群中正确的主机上对你的应用程序而言是很重要的一件事... 阅读全文

posted @ 2018-05-30 10:40 sichenzhao 阅读(151) 评论(0) 推荐(0)

NameNode 和 Secondary NameNode 的区别和作用
摘要:本文转自:https://blog.csdn.net/remote_roamer/article/details/50675059前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Second... 阅读全文

posted @ 2018-05-28 22:29 sichenzhao 阅读(483) 评论(0) 推荐(0)

MapReduce和YARN的区别和联系
摘要:Hadoop 的最常见用法之一是 Web 搜索。虽然它不是唯一的软件框架应用程序,但作为一个并行数据处理引擎,它的表现非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程,它受到Google开发的启发。这个流程称为创建索引,它将 Web爬行器... 阅读全文

posted @ 2018-05-28 22:08 sichenzhao 阅读(1175) 评论(0) 推荐(0)

YARN架构简介
摘要:Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器。它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器Resour... 阅读全文

posted @ 2018-05-28 21:42 sichenzhao 阅读(321) 评论(0) 推荐(0)

关系型数据库 VS 非关系型数据库
摘要:转载于:https://blog.csdn.net/lzj3462144/article/details/70973368一、关系型数据库?1.概念 关系型数据库是指采用了关系模型来组织数据的数据库。简单来说,关系模式就是二维表格模型。主要代表:SQL Server,... 阅读全文

posted @ 2018-04-15 17:30 sichenzhao 阅读(149) 评论(0) 推荐(0)

hadoop伪分布式模式实现
摘要:一台机器的各个进程上运行hadoop多个模块,但并不是真正的分布式,因为是一台机器。但是HDFS和MapReduce,还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadooppasswd hadoop然... 阅读全文

posted @ 2018-04-12 21:02 sichenzhao 阅读(252) 评论(0) 推荐(0)

hadoop安装和本地模式实现
摘要:环境:centos 7下载hadoop:链接:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz下载后进行解压,并进行一系列修改sudo tar -zx... 阅读全文

posted @ 2018-04-11 22:21 sichenzhao 阅读(184) 评论(0) 推荐(0)

hadoop环境准备-centos7 安装java jdk8
摘要:首先检查系统是否默认安装了jdk,一般而言,默认安装了openjdk。java -verison查看jdk的版本:rpm -qa | grep openjdk如果是openjdk,我们要将其卸载,并安装oracle jdk,因为openjdk功能不全。容易出现问题。y... 阅读全文

posted @ 2018-04-11 19:50 sichenzhao 阅读(125) 评论(0) 推荐(0)

导航