天道酬勤2016 - 博客园

2019年1月28日

Hadoop完全分布式环境搭建（三）——基于Ubuntu16.04安装和配置Java环境

摘要：【系统环境】 1、宿主机OS：Win10 64位 2、虚拟机软件：VMware WorkStation 12 3、虚拟机OS:Ubuntu16.04 4、三台虚拟机 5、JDK文件：jdk-8u201-linux-x64.tar.gz 6、操作账号：hadoop 【安装操作步骤】 1、上传jdk-8 阅读全文

posted @ 2019-01-28 09:51 天道酬勤2016 阅读(612) 评论(0) 推荐(0)

2019年1月27日

bash: hadoop: command not found

摘要：在安装配置好hadoop以后，输入hadoop namenode -format,报：hadoop:command not found的错误信息 1)、输入： hadoop fs -ls，报这个错误信息 2)、检查环境变量的配置，没有问题 3)、直接切换到hadoop/bin目录下，仍然报这个错 4 阅读全文

posted @ 2019-01-27 17:24 天道酬勤2016 阅读(5666) 评论(0) 推荐(0)

在Ubuntu16.04上使用rz上传文件，XXX was skipped

摘要：原本想把hadoop-2.8.5.tar.gz上传到/usr/local/src文件夹下，报错，was skipped 如下图：换个文件夹位置，更换到本用户文件夹下，可以上传，说明是对文件夹操作权限的问题。 $cd ~ $rz 阅读全文

posted @ 2019-01-27 16:49 天道酬勤2016 阅读(2919) 评论(0) 推荐(0)

2019年1月25日

hadoop搭建好，启动服务后，无法从web界面访问50070

摘要：在hadoop完全分布式搭建好以后，从主节点启动正常，使用jps查看启动的进程，正常，在几个从节点上使用jps查看，显示正常，但从web上输入下面网址： http://主节点IP:50070 无法正常连接显示试了若干网上查到的方法，是通过下面方法解决此问题的。解决过程: 1、切换到root账号下阅读全文

posted @ 2019-01-25 17:19 天道酬勤2016 阅读(24316) 评论(1) 推荐(0)

CentOS7设置静态IP

摘要： 1.查看和确认Vmware Workstation的网关 2、Linux路径：/etc/sysconfig/network-scripts 3. 编辑ifcfg-ens33 1)、修改BOOTPROTO=static 2)、ONBOOT=“yes” 3)、增加下图中标为3的部分 IPADDR=192 阅读全文

posted @ 2019-01-25 09:17 天道酬勤2016 阅读(990) 评论(0) 推荐(0)

2019年1月24日

Hadoop完全分布式环境搭建（四）——基于Ubuntu16.04安装和配置Hadoop大数据环境

摘要：【系统环境】【安装配置概要】 1、上传hadoop安装文件到主节点机器 2、给文件夹设置权限 3、解压 4、拷贝到目标文件夹放在/opt文件夹下，目录结构：/opt/hadoop/hadoop-2.6.4 5、配置hadoop系统环境变量 6、配置相关文件：hadoop-env.sh、core- 阅读全文

posted @ 2019-01-24 10:34 天道酬勤2016 阅读(444) 评论(0) 推荐(0)

搭建大数据hadoop完全分布式环境遇到的坑

摘要：搭建大数据hadoop完全分布式环境，遇到很多问题，这里记录一部分，以备以后查看。 1、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 本文网址：https://www 阅读全文

posted @ 2019-01-24 09:24 天道酬勤2016 阅读(252) 评论(0) 推荐(0)

我搭建大数据Hadoop完全分布式环境遇到的坑---hadoop： command not found

摘要：搭建大数据hadoop环境，遇到很多问题，这里记录一部分，以备以后查看。【遇到问题】、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 网上查阅资料，建议检查hadoo 阅读全文

posted @ 2019-01-24 09:21 天道酬勤2016 阅读(1530) 评论(0) 推荐(0)

Hadoop完全分别式环境搭建

摘要：为学习大数据，需搭建Hadoop大数据环境，在此记录，以备以后查阅，同时分享出来，供需要者参考。这里分几部分进行整理。提纲：一、说明和准备二、设置免密登陆分段网址：https://www.cnblogs.com/SH170706/p/10312117.html 三、安装和配置Java环境阅读全文

posted @ 2019-01-24 08:47 天道酬勤2016 阅读(219) 评论(0) 推荐(0)

2019年1月23日

Hadoop完全分布式环境搭建（二）——基于Ubuntu16.04设置免密登录

摘要：在Windows里，使用虚拟机软件Vmware WorkStation搭建三台机器，操作系统Ubuntu16.04,下面是IP和机器名称。【实验目标】：在这三台机器之间实现免密登录 1、从主节点可以免密登陆到主节点 2、从主节点可以免密登陆到其它两个从节点 3、从两台从节点可以免密登陆主节点，两台阅读全文

posted @ 2019-01-23 23:42 天道酬勤2016 阅读(824) 评论(0) 推荐(0)