sichenzhao

摘要：整个slsruner从main函数开始： public static void main(String[] argv) throws Exception { exitAtTheFinish = true; ToolRunner.run(new Confi... 阅读全文

摘要：SLS的缺点在于输入过于单一和简单，没有实时输入的接口。因此有个想法：将SLS拓展，使之能接收AM的allocate_request一类的信号。拓展其输入。同时拓展输出的数据，也就是metrics，使数据能够反映调度算法的好坏，比如方差等数据。接下来全力做这个项目，进... 阅读全文

摘要：在上篇博文：Hadoop3.0.3-SYNTH运行，SYNTH由于NULL user导致错误。当时以为是hadoop的源码没有写好，但仔细研究后发现，可以在SYNTH的json文件中增加user。也就是说官网给出的synth的json文件是不完整的。下面给出可以完美运... 阅读全文

摘要：hadoop的迭代实在太快，导致出现很多bug。在运行SYNTH模式时。发现两个问题。1.官方给出的SYNTH的json脚本：{ "description" : "tiny jobs workload", //description of the meanin... 阅读全文

摘要：在运行slsrun.sh时，报错如下：ERROR sls.SLSRunner: Failed to create an AM: Can't find the queue by the given name: sls_queue_1! Please check if q... 阅读全文

摘要：运行slsrun.sh时报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector.TimelineCollector ... 阅读全文

摘要：apache在18年5月底发布hadoop3.0.3，但bug好像更多了。运行rumen2sls.sh，将rumen转化为sls文件时，报错：错误: 找不到或无法加载主类 org.apache.hadoop.yarn.sls.RumenToSLSConverte解决方... 阅读全文

摘要：RM是scheduler的执行者：SLSrunner.javaprivate void startRM() throws ClassNotFoundException, YarnException { Configuration rmConf = new Yar... 阅读全文

摘要：对于几台到几十台机器组成的超小集群，可以采用sls或者rumen的文件方式输入，也就是runsls.sh后加参数--input-sls。但如果要模拟1000的中等集群甚至5000以上的大集群，手动修改sls或者rumen文件显然太不现实。hadoop社区一开始也没有考... 阅读全文

摘要：在NMSimulator.java中： public void middleStep() throws Exception { // we check the lifetime for each running containers ContainerS... 阅读全文

摘要：hadoop中提供sls来进行单机模拟。为缺少大集群的用户提供了便利。如何运行？1.配置hadoop安装前的环境：hadoop环境准备-centos7 安装java jdk82.安装Hadoop：hadoop安装和本地模式实现安装好后，对环境变量进行配置：sudo v... 阅读全文

摘要：在运行SLS时可能会碰到如下问题：命令：sh $HADOOP_HOME/share/hadoop/tools/sls/bin/slsrun.sh --input-sls=/home/c/sls/output2/sls-jobs.json --nodes=/home/c... 阅读全文

摘要：首先打开putty自带的psftp，open 【填远程服务器的ip或者域名】用cd命令选择Linux端的目录 例如：cd /usr/用lcd命令选择windows端的目录，例如：lcd c:/比如在 d：盘有一个 5.rmvb上传文件到Linux： psftp > p... 阅读全文

摘要：一、如果在终端还没有打开vim1、vim横向分屏打开多个文件vim -o 文件1 文件22、vim纵向分屏打开多个文件vim -O 文件1 文件2 二、如果在终端已经打开vim1、横向分屏打开另一个文件:vs 文件2、纵向分屏打开另一个文件:sp 文件然后实现光标切换... 阅读全文