2020年2月29日
向hdfs上传文件，运行程序，查看结果
摘要： 1.建立目录 hdfs dfs -mkdir -p /data/wc/input 2.上传文件 hdfs dfs -D dfs.blocksize=1048576 -put /setup/data.txt /data/wc/input 3.进入运行程序所在目录 cd /software/hadoop 阅读全文
posted @ 2020-02-29 19:44 技术研究与问题解决 阅读(570) 评论(0) 推荐(0)
启动yarn集群
摘要： 1.在管理节点使用：start-yarn.sh 2.在两个resourmanager节点分别使用：yarn-daemon.sh start resourcemanager 阅读全文
posted @ 2020-02-29 19:18 技术研究与问题解决 阅读(431) 评论(0) 推荐(1)
hadoop ha模式下，kill active的namenode节点后，standby的namenode节点没能自动启动
摘要： 一、背景 在Hadoop HA模式下，如果直接kill掉active namenode，standby namenode没有自动切换到active状态。 二、问题解决步骤 1. 查看hadoop安装目录下 etc/hadoop/hadoop-root-zkfc-fang16.hadoop.com.l 阅读全文
posted @ 2020-02-29 16:25 技术研究与问题解决 阅读(908) 评论(0) 推荐(0)
Hadoop2.6.5单机安装
摘要： Hadoop2.6.5单机安装 阅读全文
posted @ 2020-02-29 14:09 技术研究与问题解决 阅读(97) 评论(0) 推荐(0)