摘要：
MapReduce 核心组件 MapTask ：执行 Map 端计算任务 ReduceTask ： 执行 Reduce 端计算任务 MRAppMaster ： 负责监控、管理所有 Task 计算任务 数据切片原理 计算切片块大小 computeSplitSize(Math.max(minSize,M 阅读全文
posted @ 2021-12-02 22:06
追こするれい的人
阅读(89)
评论(0)
推荐(0)
摘要：
MapReduce 框架实现单词计数（WC）整体流程图 MapReduce 编程步骤 编写一个 MapReduce 程序包括编写 Mapper 类、编写 Reducer 类和编写 Job 客户端 MapReduce 中无论 Mapper 类 还是 Reducer 类， 操作的都是 <Key，Valu 阅读全文
posted @ 2021-12-02 20:41
追こするれい的人
阅读(49)
评论(0)
推荐(0)
摘要：
MapReduce 简介 MapReduce 本身是一种支持并行运算的编程模型（思想），这个编程模型分为两个阶段：Map 阶段和 Reduce 阶段。 Hadoop 的 MapReduce 框架 Hadoop 的 MapReduce 是实现 MapReduce 编程模型的一个分布式计算框架，这个框架 阅读全文
posted @ 2021-12-02 20:11
追こするれい的人
阅读(169)
评论(0)
推荐(0)
摘要：
ZooKeeper 命令行客户端 启动客户端 启动本地 zookeeper 客户端：./zkCli.sh [root@node-02 bin]# ./zkCli.sh Connecting to localhost:2181 # 2181 是客户端监听端口 ... [zk: localhost:21 阅读全文
posted @ 2021-12-02 19:55
追こするれい的人
阅读(135)
评论(0)
推荐(0)
摘要：
ZooKeeper 数据模型 数据存储形式 ZooKeeper 中对用户的数据采用 Key-Value 形式存储 ZooKeeper 的 key 是以目录树路径的形式表示（根目录 /) ZooKeeper 的 key 之间存在父子关系 ZooKeeper 中的 Key-Value 称为目录树的 zn 阅读全文
posted @ 2021-12-02 19:35
追こするれい的人
阅读(80)
评论(0)
推荐(0)
摘要：
运行机制 ZooKeeper 集群安装时所有 zk 节点不分主/从节点 ZooKeeper 集群运行时会选举一个节点作为主节点（ Leader ），其他节点作为从节点（ Follower ） ZooKeeper 集群中只有主节点（Leader） 对外提供服务，从节点（Follower）仅作为备份节点 阅读全文
posted @ 2021-12-02 19:14
追こするれい的人
阅读(145)
评论(0)
推荐(0)
浙公网安备 33010602011771号