随笔分类 -  Hadoop集群

Hadoop3.0 DataNode启动不成功——java.net.BindException: Port in use: localhost:0 Caused by: java.net.BindException: Cannot assign requested address解决办法
摘要：一、问题出现的原因 启动Hadoop分布式环境时出现主节点的namenode、secondarynamenode启动成功，但是Worker节点datenode启动不成功。 hadoop@master$ ${HADOOP_HOME}/sbin/start.dfs.sh 查看Worker的输出日志，显示 阅读全文
posted @ 2019-04-16 14:54 shireenlee 阅读(1204) 评论(0) 推荐(0)
Hadoop中解除 "Name node is in safe mode"的方法
摘要：运行hadoop程序时，有时候会报以下错误，说明Hadoop的NameNode处在安全模式下。 原因分析： 在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个Da 阅读全文
posted @ 2019-04-15 14:20 shireenlee 阅读(535) 评论(0) 推荐(0)
Hadoop 3.0完全分布式集群搭建方法（CentOS 7+Hadoop 3.2.0）
摘要：本文通过4台Linux虚拟机，详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是3.2.0，JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。 有关【创建Lin 阅读全文
posted @ 2019-03-07 08:32 shireenlee 阅读(6462) 评论(1) 推荐(1)
Hadoop 2.0完全分布式集群搭建方法（CentOS7+Hadoop 2.7.7）
摘要：本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是2.7.7，JDK版本是1.8。 一、准备环境 1. 在VMware workstations上创建4个Linux虚拟机，并配置其静态IP。 有关【创建Linux虚拟机及配置网络】，请 阅读全文
posted @ 2019-02-13 17:21 shireenlee 阅读(1014) 评论(0) 推荐(0)
Linux下配置Java环境方法
摘要：本文详细介绍Linux系统下配置Java环境的方法，使用JDK1.8版本。 1. 从Oracle官网上下载Java8版本。 下载链接：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htm 阅读全文
posted @ 2019-02-13 11:41 shireenlee 阅读(2100) 评论(0) 推荐(0)
Hadoop集群配置免密SSH登录方法
摘要：Hadoop集群包含1个主节点和3个从节点，需要实现各节点之间的免密码登录，下面介绍具体的实现方法。 一、Hadoop集群环境 二、免密登录原理 每台主机authorized_keys文件里面包含的主机（ssh密钥），该主机都能无密码登录，所以只要每台主机的authorized_keys文件里面都放 阅读全文
posted @ 2019-02-13 10:34 shireenlee 阅读(22005) 评论(0) 推荐(2)
Hadoop安装包下载方法
摘要：Hadoop3.0版本的诞生，引入了很多新功能，为了验证Hadoop2.0与3.0版本的性能，需下载Hadoop的不同版本。故下文演示如何下载Hadoop安装包的方法。 1. 进入Apache Hadoop官网：http://hadoop.apache.org/ 2. 点击左侧【Download】按 阅读全文
posted @ 2019-02-12 16:26 shireenlee 阅读(3082) 评论(0) 推荐(0)
Hadoop基本操作命令
摘要：Hadoop基本操作命令 #hadoop dfsadmin -report 查看hdfs集群的存储空间使用情况。 #hadoop fs -du -h 目录 查看当前目录下各个文件占得内存 #hadoop fs –rmr /tmp/aaa删除一个目录 #hadoop fs –put文件 hdfs文件目 阅读全文
posted @ 2019-01-30 14:01 shireenlee 阅读(401) 评论(0) 推荐(0)