2021年9月3日
第十一章 HDFS的API操作
摘要： 一、客户端环境准备 #1.下载Hadoop到Windows路径下的依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。 #2.配置HADOOP_HOME环境变量 #3.配置Path环境变量。 注意：如果环境变量不起作用，可以重启电脑试试。 #4.验证Hadoop环境变量是否正常。双击 阅读全文
posted @ 2021-09-03 17:56 年少纵马且长歌 阅读(152) 评论(0) 推荐(0)
第十章 HDFS的Shell操作
摘要： 一、基本语法 # hadoop fs 具体命令 或者 # hdfs dfs 具体命令 两个是完全相同的。 二、命令大全 [delopy@hadoop102 ~]$ hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <s 阅读全文
posted @ 2021-09-03 16:39 年少纵马且长歌 阅读(77) 评论(0) 推荐(0)
第九章 HDFS概述
摘要： 一、HDFS产生的背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 二、HDFS的定义 HDFS（Hadoop Distr 阅读全文
posted @ 2021-09-03 12:22 年少纵马且长歌 阅读(69) 评论(0) 推荐(0)
第八章 Hadoop常见错误及解决方案
摘要： 一、防火墙没关闭、或者没有启动YARN #1.报错信息： *INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.10.102:8032* #2.解决方案 1）关闭防火墙 2）重新启动YARN 二、主机名称配置 阅读全文
posted @ 2021-09-03 11:26 年少纵马且长歌 阅读(1351) 评论(0) 推荐(0)