随笔分类 -  hadoop

hadoop安装包下载地址
摘要：hadoop安装包下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/ 阅读全文
posted @ 2020-04-28 10:20 mhx_pyw 阅读(870) 评论(0) 推荐(0)
Hadoop的jobhistoryserver配置
摘要：配置mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhisto 阅读全文
posted @ 2018-07-16 10:10 mhx_pyw 阅读(307) 评论(0) 推荐(0)
DFS Used%: NaN%问题
摘要：一.问题描述： [root@master sbin]# hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS 阅读全文
posted @ 2018-07-13 16:21 mhx_pyw 阅读(738) 评论(0) 推荐(0)
查看识别hadoop是32位还是64位
摘要：问题导读：1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？ 来源：about云 本文链接：http://www.aboutyun.com/thread-12796-1-1.html hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。ha 阅读全文
posted @ 2018-07-12 16:39 mhx_pyw 阅读(225) 评论(0) 推荐(0)
hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项
摘要：在hadoop-3.0.0-alpha4 的配置中，yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”，但如果在hadoop-2.2 中继续使用这个值，NodeManager 会启动失败，在logs/yarn-biadmin-nodemana 阅读全文
posted @ 2018-07-12 16:12 mhx_pyw 阅读(1384) 评论(0) 推荐(0)
hadoop常用命令
摘要：1.查看datanode日志 [root@slave1 hadoop-3.0.0-alpha4]# cd logs/ [root@slave1 logs]# tail -f hadoop-root-datanode-slave1.log 2.查看节点nodemanager日志 [root@slave 阅读全文
posted @ 2018-07-12 15:45 mhx_pyw 阅读(107) 评论(0) 推荐(0)
hadoop-3.0.0-alpha4启动
摘要：全部启动或者全部停止(注意：第一次启动需要先格式，以后就不需要格式了，不能多次格式化) 1.启动 [root@master sbin]# pwd /usr/hadoop/hadoop-3.0.0-alpha4/sbin [root@master sbin]# ./start-all.sh Start 阅读全文
posted @ 2018-07-12 11:39 mhx_pyw 阅读(175) 评论(0) 推荐(0)
hadoop-3.0.0-alpha4安装部署过程
摘要：关闭防火墙 #systemctl stop firewalld.service #停止firewall #systemctl disable firewalld.service #禁止firewall开机启动 关闭selinux #vi /etc/selinux/config SELINUX=dis 阅读全文
posted @ 2018-07-12 11:34 mhx_pyw 阅读(164) 评论(0) 推荐(0)