07 2018 档案

YARN SLS-SLSRunner完整源码分析
摘要:整个slsruner从main函数开始: public static void main(String[] argv) throws Exception { exitAtTheFinish = true; ToolRunner.run(new Confi... 阅读全文

posted @ 2018-07-15 11:10 sichenzhao 阅读(403) 评论(0) 推荐(0)

YARN SLS调度模拟器拓展的简单想法
摘要:SLS的缺点在于输入过于单一和简单,没有实时输入的接口。因此有个想法:将SLS拓展,使之能接收AM的allocate_request一类的信号。拓展其输入。同时拓展输出的数据,也就是metrics,使数据能够反映调度算法的好坏,比如方差等数据。接下来全力做这个项目,进... 阅读全文

posted @ 2018-07-13 22:47 sichenzhao 阅读(168) 评论(0) 推荐(0)

hadoop3.0.3-SYNTH运行成功
摘要:在上篇博文:Hadoop3.0.3-SYNTH运行,SYNTH由于NULL user导致错误。当时以为是hadoop的源码没有写好,但仔细研究后发现,可以在SYNTH的json文件中增加user。也就是说官网给出的synth的json文件是不完整的。下面给出可以完美运... 阅读全文

posted @ 2018-07-13 22:35 sichenzhao 阅读(135) 评论(0) 推荐(0)

Hadoop3.0.3-SYNTH运行
摘要:hadoop的迭代实在太快,导致出现很多bug。在运行SYNTH模式时。发现两个问题。1.官方给出的SYNTH的json脚本:{ "description" : "tiny jobs workload", //description of the meanin... 阅读全文

posted @ 2018-07-13 21:46 sichenzhao 阅读(204) 评论(0) 推荐(0)

hadoop3.0.3 SLS-Failed to create an AM
摘要:在运行slsrun.sh时,报错如下:ERROR sls.SLSRunner: Failed to create an AM: Can't find the queue by the given name: sls_queue_1! Please check if q... 阅读全文

posted @ 2018-07-13 18:37 sichenzhao 阅读(301) 评论(0) 推荐(0)

hadoop3.0.3- java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collect
摘要:运行slsrun.sh时报错:Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector.TimelineCollector ... 阅读全文

posted @ 2018-07-13 17:10 sichenzhao 阅读(381) 评论(0) 推荐(0)

hadoop3.0.3-错误: 找不到或无法加载主类 org.apache.hadoop.yarn.sls.RumenToSLSConverte
摘要:apache在18年5月底发布hadoop3.0.3,但bug好像更多了。运行rumen2sls.sh,将rumen转化为sls文件时,报错:错误: 找不到或无法加载主类 org.apache.hadoop.yarn.sls.RumenToSLSConverte解决方... 阅读全文

posted @ 2018-07-13 15:27 sichenzhao 阅读(383) 评论(0) 推荐(0)

YARN-SLS中NM和AM如何进入调度
摘要:RM是scheduler的执行者:SLSrunner.javaprivate void startRM() throws ClassNotFoundException, YarnException { Configuration rmConf = new Yar... 阅读全文

posted @ 2018-07-12 23:15 sichenzhao 阅读(265) 评论(0) 推荐(0)

YARN-SLS如何实现大集群,大数据的模拟
摘要:对于几台到几十台机器组成的超小集群,可以采用sls或者rumen的文件方式输入,也就是runsls.sh后加参数--input-sls。但如果要模拟1000的中等集群甚至5000以上的大集群,手动修改sls或者rumen文件显然太不现实。hadoop社区一开始也没有考... 阅读全文

posted @ 2018-07-12 22:55 sichenzhao 阅读(212) 评论(0) 推荐(0)

YARN-SLS中RM如何获得NM和AM的heartbeat
摘要:在NMSimulator.java中: public void middleStep() throws Exception { // we check the lifetime for each running containers ContainerS... 阅读全文

posted @ 2018-07-12 22:20 sichenzhao 阅读(265) 评论(0) 推荐(0)

Hadoop-YARN-SLS模拟器运行
摘要:hadoop中提供sls来进行单机模拟。为缺少大集群的用户提供了便利。如何运行?1.配置hadoop安装前的环境:hadoop环境准备-centos7 安装java jdk82.安装Hadoop:hadoop安装和本地模式实现安装好后,对环境变量进行配置:sudo v... 阅读全文

posted @ 2018-07-11 17:56 sichenzhao 阅读(363) 评论(0) 推荐(0)

hadoop-yarn SLS运行中的问题
摘要:在运行SLS时可能会碰到如下问题:命令:sh $HADOOP_HOME/share/hadoop/tools/sls/bin/slsrun.sh --input-sls=/home/c/sls/output2/sls-jobs.json --nodes=/home/c... 阅读全文

posted @ 2018-07-11 17:27 sichenzhao 阅读(366) 评论(0) 推荐(0)

linux远程传输文件至windows
摘要:首先打开putty自带的psftp,open 【填远程服务器的ip或者域名】用cd命令选择Linux端的目录 例如:cd /usr/用lcd命令选择windows端的目录,例如:lcd c:/比如在 d:盘有一个 5.rmvb上传文件到Linux: psftp > p... 阅读全文

posted @ 2018-07-09 21:30 sichenzhao 阅读(551) 评论(0) 推荐(0)

vim打开多个文件
摘要:一、如果在终端还没有打开vim1、vim横向分屏打开多个文件vim -o 文件1 文件22、vim纵向分屏打开多个文件vim -O 文件1 文件2 二、如果在终端已经打开vim1、横向分屏打开另一个文件:vs 文件2、纵向分屏打开另一个文件:sp 文件然后实现光标切换... 阅读全文

posted @ 2018-07-09 09:37 sichenzhao 阅读(262) 评论(0) 推荐(0)

导航