摘要: Zookeeper全解析——Paxos作为灵魂 那么ZK Server最基础的东西是什么呢?我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。 先说Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布 阅读全文
posted @ 2022-05-28 19:54 a-tao必须奥利给 阅读(84) 评论(0) 推荐(0)
摘要: Zookeeper简介 Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息,可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统,这些都是Zook 阅读全文
posted @ 2022-05-28 19:36 a-tao必须奥利给 阅读(134) 评论(0) 推荐(0)
摘要: MapReduce三个小案例 回顾一下 wordcount案例中map阶段 回顾一下 wordcount案例中的reduce阶段 1、IK分词器(统计三国演义指定词语个数) 步骤一:找到ik依赖,并添加到环境中 步骤二:在hadoop项目中创建子项目,并添加环境依赖 步骤三:小测试一下,结果如下: 阅读全文
posted @ 2022-05-28 16:34 a-tao必须奥利给 阅读(87) 评论(0) 推荐(0)
摘要: Hadoop 1.x 和 Hadoop 2.x 有什么区别? YARN Hadoop1.X 和 Hadoop2.X 之间的最大不同是 YARN 。 YARN 是“ Yet Another Resource Negotiator ”的缩写。 Hadoop1.X 仅仅是 HDFS 和 MapReduce 阅读全文
posted @ 2022-05-28 15:35 a-tao必须奥利给 阅读(158) 评论(0) 推荐(0)