七凌风

2020年4月15日

摘要：一、配置windows上的hadoop环境变量 1、将hadoop压缩包解压至任意位置，路径最好不要带中文或空格 2、将Window编译后的hadoop文件放到解压出来的hadoop文件夹的bin目录下 3、在环境变量中配置HADOOP_HOME 5、在环境变量的PATH中添加 %HADOOP_HO 阅读全文

posted @ 2020-04-15 22:44 七凌风阅读(254) 评论(0) 推荐(0)

Hadoop文件上传下载工作流程及元数据

摘要： Hadoop部分工作流程图一、文件上传 " " 二、文件下载 " " 三、元数据（Secondarynamenode） " " 阅读全文

posted @ 2020-04-15 22:43 七凌风阅读(434) 评论(0) 推荐(0)

使用java进行Hadoop文件上传下载和遍历

摘要：使用java操作HDFS 需要使用到的jar包将hadoop的tar.gz包解压，里面的lib下的所有jar包，share/hadoop目录下的common和hdfs文件下的所有jar包以及Hadoop common 2.7.7、Hadoop hdfs 2.7.7、hadoop client 2 阅读全文

posted @ 2020-04-15 22:42 七凌风阅读(2110) 评论(0) 推荐(0)

Hadoop的两种扩容方式

摘要： Hadoop两种扩容方式 1、横向扩容（增加datanode节点数） ①、克隆之前配置好的从属机，修改静态ip地址，在namenode机上配置hosts文件，将新的从属机IP地址映射加入进去 ②、因为hadoop支持热部署，可以在已经启动的情况下在slaves文件中加入hadoop03，然后在从属机阅读全文

posted @ 2020-04-15 22:40 七凌风阅读(2117) 评论(0) 推荐(0)

Hadoop基础命令

摘要：一、启动hadoop 1、启动全部进程 start all.sh 2、单进程启动。 sbin/start dfs.sh sbin/start yarn.sh 二、常用命令（均使用绝对路径） 1、查看指定目录下内容 hadoop dfs –ls [文件目录] hadoop dfs ls R / // 阅读全文

posted @ 2020-04-15 22:38 七凌风阅读(225) 评论(0) 推荐(0)

公告