摘要：
1 概述 Hadoop在大数据技术体系中极为重要，被誉为是改变世界的7个Java项目之一（剩下6个是Junit、Eclipse、Spring、Solr、HudsonAndJenkins、Android），本篇文章以Hadoop 3.3.0官方文档为基础，首先会介绍Hadoop相关术语，包括HDFS， 阅读全文
posted @ 2020-08-22 11:46
氷泠
阅读(494)
评论(0)
推荐(0)
摘要：
1 概述 上一篇文章介绍了如何使用虚拟机搭建集群，到了这篇文章就是实战了，使用真实的三台不同服务器进行Hadoop集群的搭建。具体步骤其实与虚拟机的差不多，但是由于安全组以及端口等等一些列的问题，会与虚拟机有所不同，废话不多说，下面正式开始。 2 约定 Master节点的ip用MasterIP表示， 阅读全文
posted @ 2020-08-22 11:42
氷泠
阅读(1012)
评论(0)
推荐(0)
摘要：
1 完全分布模式 完全分布模式是比本地模式与伪分布模式更加复杂的模式，真正利用多台Linux主机来进行部署Hadoop，对集群进行规划，使得Hadoop各个模块分别部署在不同的多台机器上，这篇文章介绍的是通过三台虚拟机进行集群配置的方式，主要步骤为： 准备虚拟机：准备虚拟机基本环境 ip+Host配 阅读全文
posted @ 2020-08-22 11:36
氷泠
阅读(1186)
评论(0)
推荐(0)
摘要：
1 伪分布模式 伪分布模式是运行在单个节点以及多个Java进程上的模式。相比起本地模式，需要进行更多配置文件的设置以及ssh、YARN相关设置。 2 Hadoop配置文件 修改Hadoop安装目录下的三个配置文件： etc/hadoop/core-site.xml etc/hadoop/hdfs-s 阅读全文
posted @ 2020-08-22 11:32
氷泠
阅读(499)
评论(0)
推荐(0)
摘要：
1 本地模式 本地模式是最简单的模式，所有模块都运行在一个JVM进程中，使用本地文件系统而不是HDFS。 本地模式主要是用于本地开发过程中的运行调试用，下载后的Hadoop不需要设置默认就是本地模式。 2 准备工作 笔者喜欢把JDK放在/usr/local下，运行前请确保设置了JAVA_HOME，注 阅读全文
posted @ 2020-08-22 11:29
氷泠
阅读(580)
评论(0)
推荐(0)
浙公网安备 33010602011771号