摘要： 由于在学习过程中对MapReduce有很大的困惑，所以这篇文章主要是针对MR的运行机制进行理解记录，主要结合网上几篇博客以及视频的讲解内容进行一个知识的梳理。 MapReduce on Yarn运行原理 Job提交 yarn由两个重要的jvm进程组成：ResourceManager、NodeMana 阅读全文

摘要： 目前是刚刚初学完zookeeper，这篇文章主要是简单的对一些基本的概念进行梳理强化。 zookeeper基础概念的理解 有时候计算机领域很多名词都是从一长串英文提取首字母缩写而来，但很不幸zookeeper不是。那么，zookeeper到底是用来干什么的？我这里先摆一段官网的介绍： ZooKeep 阅读全文

摘要： 基本原理 HDFS（Hadoop Distributed File System）是Hadoop的一个基础的分布式文件系统，这个分布式的概念主要体现在两个地方： 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 数据分块存储在多台主机 数据块采取冗余存储的方式提高数据的可用性 针对于 阅读全文

摘要： crontab： * * * * *　[user] command分 时 日 月 周　[用户] 命令 第1列表示分钟0～59 每分钟用*或者 */1表示第2列表示小时0～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～7（0或7表示星期天）第6列要运行的命令 -e 阅读全文

摘要： 1. NetworkManager关闭及禁用 关闭：systemctl stop NetworkManager 禁用：systemctl disable NetworkManager 2. 查看日志：journalctl 当linux服务启动失败的时候，系统会提示使用journalctl xe命令来 阅读全文

摘要： 刚刚开始学习搭建Linux集群，目前出现的比较麻烦的一个问题是Linux网络ip问题。其实网上好多出现类似问题的解答大部分说是因为克隆的问题，但实际情况先克隆产生的问题应该是很好排查的。所幸，有博主针对此问题做了详细的总结，可以参考以下链接进行逐一排查。 参考：https://cloud.tence 阅读全文