随笔分类 -  Hadoop环境配置

【Hadoop开发环境搭建】六、安装Eclipse、配置MapReduce环境
摘要：本章来记录一下Eclipse安装hadoop插件、配置MapReduce环境并新建一个MapReduce工程的过程 0.现有环境： Eclipse(Windows 本地系统的) 云服务器(已经配置好了Hadoop开发环境和集群) 1.安装插件： hadoop-eclipse-plugin-2.7.3 阅读全文
posted @ 2019-10-05 14:21 Nelson_software 阅读(553) 评论(0) 推荐(0)
【Hadoop开发环境搭建】五、配置集群时可能出现问题
摘要：在第四节中进入50070端口后可以显示界面，其实在这时并不一定配置好了 下面我将遇到的一些问题记录下来,并作为更新帖，以后出现问题再添加： 1.由于hdfs namenode -format指令的重复使用 使 /hadoop/hdfs/data/current 下 与 /hadoop/hdfs/na 阅读全文
posted @ 2019-10-04 15:47 Nelson_software 阅读(181) 评论(0) 推荐(0)
【Hadoop开发环境搭建】四、Hadoop集群启动
摘要：四、Hadoop集群启动 在配置完成Hadoop集群后，我们可以手动启动集群及相关服务 1.启动集群(在sbin目录下执行下面指令，如果集群是第一次启动可以用第一种，常用的启动方式是一个一个的守护进程启动)： 2.关闭集群(在sbin目录下执行下面指令，两种方式均可) 3.小练习 (1)集群启动的顺 阅读全文
posted @ 2019-10-04 11:13 Nelson_software 阅读(538) 评论(0) 推荐(0)
Hadoop大数据开发基础系列：二、Hadoop集群的搭建及配置
摘要：二、Hadoop集群的搭建及配置 本章内容见【Hadoop开发环境搭建】系列： 【Hadoop开发环境搭建】一、Linux环境下JDK安装和配置 【Hadoop开发环境搭建】二、Hadoop安装与配置 【Hadoop开发环境搭建】三、Hadoop集群搭建 【Hadoop开发环境搭建】四、Hadoop 阅读全文
posted @ 2019-10-04 10:57 Nelson_software 阅读(209) 评论(0) 推荐(0)
【Hadoop开发环境搭建】三、Hadoop集群搭建
摘要：三、Hadoop集群搭建 在上篇中记录了Hadoop安装与配置，在本篇中，介绍一下Hadoop集群的搭建 1.现有环境 三台云服务器（Linux系统、JDK1.8、Hadoop 2.2.7） 2.关闭防火墙、修改IP、修改hostname、修改host文件 (1)查看防火墙状态 显示active状态 阅读全文
posted @ 2019-09-30 21:32 Nelson_software 阅读(188) 评论(0) 推荐(0)
【Hadoop开发环境搭建】二、Hadoop安装与配置
摘要：在上篇中介绍了Linux环境下JDK的安装与环境配置，本篇记录了Hadoop的安装配置过程 二、Hadoop安装与配置 1.现有工具及文件 ①Xmanager Enterprise 5（其中的Xftp可用于实现不同IP地址间文件的互传，也可以实现Linux文件目录的可视化） ②hadoop-2.7. 阅读全文
posted @ 2019-09-30 21:30 Nelson_software 阅读(175) 评论(0) 推荐(0)
【Hadoop开发环境搭建】一、Linux环境下JDK安装和配置
摘要：本系列记录配置Hadoop开发环境和集群的过程 一、JDK在Linux中的安装配置 1.现有工具及文件： ①Xmanager Enterprise 5（其中的Xftp可用于实现不同IP地址间文件的互传，也可以实现Linux文件目录的可视化） ②JDK安装包：jdk-8u151-linux-x64.t 阅读全文
posted @ 2019-09-30 20:50 Nelson_software 阅读(340) 评论(0) 推荐(0)