摘要：
Hadoop-yarn_工作流程详解 YARN的基本结构由一个ResourceManager与多个NodeManager组成。 ResourceManager负责对NodeManager所持有的资源进行统一管理和调度。当在处理一个作业时ResourceManager会在NodeManager所在节点 阅读全文
posted @ 2022-05-30 19:26
a-tao必须奥利给
阅读(116)
评论(0)
推荐(0)
摘要：
Zookeeper全解析——Paxos作为灵魂 那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。 先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布 阅读全文
posted @ 2022-05-28 19:54
a-tao必须奥利给
阅读(84)
评论(0)
推荐(0)
摘要：
Zookeeper简介 Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统，这些都是Zook 阅读全文
posted @ 2022-05-28 19:36
a-tao必须奥利给
阅读(134)
评论(0)
推荐(0)
摘要：
MapReduce三个小案例 回顾一下 wordcount案例中map阶段 回顾一下 wordcount案例中的reduce阶段 1、IK分词器(统计三国演义指定词语个数) 步骤一：找到ik依赖,并添加到环境中 步骤二：在hadoop项目中创建子项目，并添加环境依赖 步骤三：小测试一下，结果如下： 阅读全文
posted @ 2022-05-28 16:34
a-tao必须奥利给
阅读(87)
评论(0)
推荐(0)
摘要：
Hadoop 1.x 和 Hadoop 2.x 有什么区别？ YARN Hadoop1.X 和 Hadoop2.X 之间的最大不同是 YARN 。 YARN 是“ Yet Another Resource Negotiator ”的缩写。 Hadoop1.X 仅仅是 HDFS 和 MapReduce 阅读全文
posted @ 2022-05-28 15:35
a-tao必须奥利给
阅读(158)
评论(0)
推荐(0)
摘要：
一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有一定的延时（磁盘IO） 如 阅读全文
posted @ 2022-05-27 08:18
a-tao必须奥利给
阅读(188)
评论(0)
推荐(0)
摘要：
一、Hadoop-HA（高可用） 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在==单点故障（SPOF）==。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启 动之前将不可用 阅读全文
posted @ 2022-05-26 13:32
a-tao必须奥利给
阅读(64)
评论(0)
推荐(0)
摘要：
zookeeper搭建文档 1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export 阅读全文
posted @ 2022-05-26 11:00
a-tao必须奥利给
阅读(82)
评论(0)
推荐(0)
摘要：
Java操作Hadoop 步骤一：创建父类maven项目 在父类项目中的 pom 文件中配置如下，同一版本号，然后子类供给子类使用 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4 阅读全文
posted @ 2022-05-26 08:39
a-tao必须奥利给
阅读(65)
评论(0)
推荐(0)
摘要：
2.2 Hadoop进程理解 HDFS HDFS相关（NN,DN,SSN） NameNode(NN) 映射关系： namenode获取到文件后，存文件的元数据信息 文件< >元数据（文件名称，大小时间权限） namenode和元数据的映射 生成上一步之后，nn对文件进行切分 namenode< >b 阅读全文
posted @ 2022-05-25 07:45
a-tao必须奥利给
阅读(131)
评论(0)
推荐(0)
浙公网安备 33010602011771号