单节点环境配置

虚拟机 Ubuntu -- Docker 三个linux 节点 ：

单机版本 -- 跑代码

1：安装到 虚拟机的 Ubuntu 上

2: 安装到 Windows 上

-- 网络 linux命令 安装各种 配置环境变量
-- 报错 每个错误如何处理

环境变量

• 启动程序的路径表格

• 运行一个程序 -- 在当前所处的目录查找 有没有这个程序

• 去环境变量中查找有没有

  Linux 单节点 ：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

  Windows单节点: https://cwiki.apache.org/confluence/display/HADOOP2/Hadoop2OnWindows

windows下安装：

1：-- 下载 jdk 1.8 -- 配置好 java环境变量

2：-- 下载hadoop 的源代码 -- 解压到一个目录下

3：Hadoop: D:\Hadoop\hadoop-3.2.2 然后配置-- / bin /sbin

windows下工具 https://github.com/steveloughran/winutils下载对应版本

将下载下来的bin目录 替换你的安装的bin目录

配置文件路径：

D:\Hadoop\hadoop-3.2.2\etc\hadoop

4：使用管理员启动cmd

​ - 先格式化HDFS - %HADOOP_PREFIX%\bin\ hdfs namenode -format

• start-all 启动集群

• stop-all 关闭集群

  192.168.99.1 ：8088 hadoop

  ​ 3.0版本以上 : 9870 HDFS 2.0版本的 ：50070

maven:

pom.xml:

<dependencies>
    <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
      </dependency>
  </dependencies>
  

			// 链接配置类 
	        Configuration conf = new Configuration();
	        conf.set("fs.defaultFS", "hdfs://192.168.99.1:19000");
			// 文件操作类  FileSystem
	        FileSystem fs = FileSystem.get(conf);
	        //本地文件上传到 hdfs
	        Path file = new Path("C:\vi.zip");
	 
	        fs.copyFromLocalFile(file, new Path("/output5"));// 上传服务器的存储目录
	        fs.close();// 关闭流