摘要：前面几篇文章把Hadoop常用的模块都学习了，剩下一个新模块Ozone，截止到今天最新版本是0.5.0Beta，还没出正式版。好在官方网站有文档，还是中文版的，但是中文版资料没有翻译完整，我试着把它都翻译一下。参考 《Apache Hadoop Ozone》。 什么是Ozone Ozone 是 Ha 阅读全文

摘要：Hadoop1.x中的MapReduce MapReduce作为Hadoop最核心的两个组件之一，在1.0版本中就已经存在了。它包含这么几个角色： Client 多数情况下Client的作用就是向服务端发送请求并返回结果。但是在MapReduce里，Client的作用可不小。 Client根据传入的 阅读全文

摘要：前两篇文章介绍了HDFS的原理和高可用，下面再来介绍Hadoop的另外一个模块MapReduce。它的思想是很多技术的鼻祖，值得一学。 MapReduce是什么 MapReduce是一个分布式计算系统，它可以类比为SQL里的select ...group by... 它被分为两个阶段。第一个阶段叫M 阅读全文

摘要：高可用架构图 先上一张搜索来的图。 如上图，HDFS的高可用其实就是NameNode的高可用。 上一篇里，SecondaryNameNode是NameNode单节点部署才会有的角色，它只帮助NameNode完成日志合并的工作，在NameNode出现问题时不能顶上去。 在高可用里，不再有Seconda 阅读全文

摘要：Hadoop模块 提到大数据，Hadoop是一个绕不开的话题，我们来看看Hadoop本身包含哪些模块。 Common是基础模块，这个是必须用的。剩下常用的就是HDFS和YARN。 MapReduce现在用的比较少了，多数场景下会被Spark取代。 Ozone是一个新组件，对象存储，可以看做是HDFS 阅读全文

摘要：单位最近开始做大数据平台，借此机会梳理一下大数据相关技术，分享出来共同学习。 为什么会出现大数据技术 随着计算机系统数据的快速增长，单台物理机已经没办法存储和计算这么大规模的数据量，于是大数据技术应运而生，它是分布式技术的一种。一提到大数据技术，必然会涉及到Hadoop。google的两篇论文是它核 阅读全文