摘要：介绍 Paxos算法是一个高容错性的分布式一致性算法。去年学习过Paxos算法，一直没将整理到博客。现在将经典Paxos算法相关内容整理到博客上。 经典Paxos算法本身也并不是太难理解，Lamport从期望的结果出发，通过增强条件一步步反推，最终发掘出可以保证了系统一致性的Paxos算法。如果能仔 阅读全文

摘要：本文介绍在Mac上搭建Hive环境。 建议首先配置好Hadoop，搭建与配置可以参考我之前的博文 "Mac Hadoop的安装与配置" 。 当然你也可以选择使用Docker搭建环境，本文不作介绍。 安装 对于MacOs，推荐使用HomeBrew安装hive，一步到位。 创建元数据库 Hive默认用d 阅读全文

摘要：背景 本文整理一些Hadoop YARN的相关内容。 简介 YARN(Yet Another Resource Negotiator)是Hadoop通用资源管理平台，为各类计算框架（离线MR、在线Storm、内存计算Spark等）提供统一的资源管理和调度。 它提供的功能有： 统一资源管理和调度 ： 阅读全文

摘要：这里介绍Hadoop在mac下的安装与配置。 安装及配置Hadoop 首先安装Hadoop 配置ssh免密码登录 用dsa密钥认证来生成一对公钥和私钥： 将生成的公钥加入到用于认证的公钥文件中： 接下来测试一下是否配置成功 如果遇到connection refused之类的错误，检查一下mac是否开 阅读全文