YARN 作业管理

启动 TDH Client

// 进入 TDH-Client 目录下

  1. cd /transwarp/Desktop/TDH-Client
    // 执行 TDH Client 的 init.sh 脚本,此操作只对当前 Session 有效
  2. source ./init.sh

上传作业输入文件

//将本地文件 wordcount.txt 上传至 HDFS 作业输入目录中。

// 在本地创建 wordcount.txt 文件,并完成数据写入

  1. echo -e "Deer Bear River\nCar Car River\nDeer Car Bear" > wordcount.txt
    // 在 HDFS 中创建作业输入目录
  2. hadoop fs -mkdir -p /training/hanwenhao/yarn_data/wordcount_input
    // 将 wordcount.txt 上传到作业输入目录
  3. hadoop fs -put wordcount.txt /training/hanwenhao/yarn_data/wordcount_input/

执行作业

//将 Hadoop Mapreduce 样例程序 hadoop-mapreduce-examples-2.7.2-transwarp-6.0.2.jar 的 WordCount 作业提交
给 YARN,并执行得出结果。

// 切换目录

  1. cd /transwarp/Desktop/TDH-Client/hadoop/hadoop-mapreduce
    /* 向 YARN 提交并执行作业。
  2. hadoop jar hadoop-mapreduce-examples-2.7.2-transwarp-6.2.0.jar wordcount /training/hanwenhao/yarn_data/wordcount_input /training/hanwenhao/yarn_data/wordcount_output

查看作业输出结果

//查看 WordCount 作业的输出结果,先看输出目录是否创建,再看生成的输出文件是否完成了词频统计。

// 查看输出目录是否创建

  1. hadoop fs -ls /training/hanwenhao/yarn_data/wordcount_output
    // 查看输出文件内容
  2. hadoop fs -cat /training/hanwenhao/yarn_data/wordcount_output/{wordcount_output_filename}

管理作业

//进入 Yarn 的图形监控界面,查看之前运行的任务情况。
进入 Transwarp Manager 查看 Yarn 集群情况
找到 Yarn 的主节点,进入 Web 管理界面

posted @ 2020-02-27 21:42  20145232  阅读(405)  评论(0编辑  收藏  举报