摘要：一、基础环境 1.虚拟机 VMware 15.0 2.CentOS 6.5 Linux 系统 二、MapReduce的原理分析 三、Yarn集群搭建 1.准备好三台虚拟机（这里我直接拷贝了Ha集群中一个作为主机，其余克隆） 2.修改基础配置： 1.删除每一台机器的Mac地址（CentOS 7 以上不 阅读全文

摘要：一、基础环境 三台虚拟机，使用CentOS 6.5 版本Linux系统 二、SSH免密登录 对于集群来说，需要用我们的NameNode主节点来控制所有的DataNode开启节点服务，所以我们的方式就是用NameNode节点连接其他的DataNode节点，输入开启命令即可。 但是一天机器连接另外一台机 阅读全文

摘要：一、出现背景 普通的Hadoop集群，虽然有FsImage，Editslog和SecondaryNameNode机制，来防止Namenode节点宕机或非正常的服务关闭时数据的丢失，但是有一个问题依然存在，那就是身为HDFS文件系统的总入口，停止了对外的服务。对于客户端来说，系统内部是透明的，当服务宕 阅读全文

摘要：一、问题背景 今天在学习hadopp框架时，编写一个hadoop启动进程的sheel脚本，由于不想使用Linux自带的VM编辑器，就在Windows下编辑脚本的内容，然后在Linux下运行此脚本，接着就报了几个错误 报错原文： Could not find or load main class na 阅读全文

摘要：一、基础环境配置 虚拟机：VMware 15.0 Linux系统版本：CentOS 6.5 (CentOS 7 的话对分布式做了优化 和7以下不同，这里以6.5为基准) 二、准备工作 1.在 /opt/install 下存放相关软件 在 /opt/models 下存放上传到服务器的工具 2.配置虚拟 阅读全文