摘要：Yarn脱胎于MRv1,并克服了MRv1的种种不足。先来看看MRv1让人诟病的地方，主要是可靠性差、扩展性差、资源利用率低、无法支持异构的计算框架：1.可靠性差： MRv1是主从架构，主节点的JobTracker一旦出现问题就会导致整个集群不可用。2.扩展性差： MR... 阅读全文

摘要：原博客：https://www.cnblogs.com/smartloli/p/4664842.2.YARN的RPC介绍 我们知道在Hadoop的RPC当中，其主要由RPC，Client及Server这三个大类组成，分别实现对外提供编程接口、客户端实现及服务端实现。... 阅读全文

摘要：原hadoop框架中MapReduce的问题从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：1.首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-red... 阅读全文

摘要：在使用Docker创建了容器之后，大家比较关心的就是如何进入该容器了，其实进入Docker容器有好几多种方式，这里我们就讲一下常用的几种进入Docker容器的方法。进入Docker容器比较常见的几种做法如下：1.使用docker attach2.使用SSH3.使用ns... 阅读全文

摘要：随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库，渐渐为开发人员所关注。etcd是一个高可用的键值存储系统，主要用于共享键值仓库和服务发现。etcd是由CoreOS开发并维护的，灵... 阅读全文

摘要：过去, Paxos一直是分布式协议的标准，但是Paxos难于理解，更难以实现，Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。来自Stanford的新的分布式协议研究称为Raft，它是一个为真实世界应用建立的协议，实现分布式系统数据的可用性和... 阅读全文

摘要：节点（Node）：一个节点是一个运行 Kubernetes 中的主机。作为Kubernetes worker，通常称为Minion。每个节点都运行如下Kubernetes关键组件：Kubelet：是主节点代理。Kube-proxy：Service使用其将链接路由到Po... 阅读全文

摘要：Kubenetes（k8s）是一款由Google开发的开源的容器编排工具，在Google使用已经超过15年。那么k8s是用来解决集群容器运行时的什么问题呢？调度需要确保应用程序能够运行在它应该运行的地方。将应用运行在集群中正确的主机上对你的应用程序而言是很重要的一件事... 阅读全文

摘要：本文转自：https://blog.csdn.net/remote_roamer/article/details/50675059前言最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Second... 阅读全文

摘要：Hadoop 的最常见用法之一是 Web 搜索。虽然它不是唯一的软件框架应用程序，但作为一个并行数据处理引擎，它的表现非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到Google开发的启发。这个流程称为创建索引，它将 Web爬行器... 阅读全文

摘要：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器。它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器Resour... 阅读全文

摘要：转载于：https://blog.csdn.net/lzj3462144/article/details/70973368一、关系型数据库？1.概念 关系型数据库是指采用了关系模型来组织数据的数据库。简单来说，关系模式就是二维表格模型。主要代表：SQL Server，... 阅读全文

摘要：一台机器的各个进程上运行hadoop多个模块，但并不是真正的分布式，因为是一台机器。但是HDFS和MapReduce，还有yarn等模块都运行起来了。因此掌握伪模式的配置较为重要。一、创建用户使用hadoop框架useradd hadooppasswd hadoop然... 阅读全文

摘要：环境：centos 7下载hadoop：链接：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz下载后进行解压，并进行一系列修改sudo tar -zx... 阅读全文

摘要：首先检查系统是否默认安装了jdk，一般而言，默认安装了openjdk。java -verison查看jdk的版本：rpm -qa | grep openjdk如果是openjdk，我们要将其卸载，并安装oracle jdk，因为openjdk功能不全。容易出现问题。y... 阅读全文