2018 年 7月 13 日随笔档案 - sichenzhao

YARN SLS调度模拟器拓展的简单想法

摘要： SLS的缺点在于输入过于单一和简单，没有实时输入的接口。因此有个想法：将SLS拓展，使之能接收AM的allocate_request一类的信号。拓展其输入。同时拓展输出的数据，也就是metrics，使数据能够反映调度算法的好坏，比如方差等数据。接下来全力做这个项目，进... 阅读全文

posted @ 2018-07-13 22:47 sichenzhao 阅读(162) 评论(0) 推荐(0)

摘要：在上篇博文：Hadoop3.0.3-SYNTH运行，SYNTH由于NULL user导致错误。当时以为是hadoop的源码没有写好，但仔细研究后发现，可以在SYNTH的json文件中增加user。也就是说官网给出的synth的json文件是不完整的。下面给出可以完美运... 阅读全文

posted @ 2018-07-13 22:35 sichenzhao 阅读(132) 评论(0) 推荐(0)

摘要： hadoop的迭代实在太快，导致出现很多bug。在运行SYNTH模式时。发现两个问题。1.官方给出的SYNTH的json脚本：{ "description" : "tiny jobs workload", //description of the meanin... 阅读全文

posted @ 2018-07-13 21:46 sichenzhao 阅读(203) 评论(0) 推荐(0)

摘要：在运行slsrun.sh时，报错如下：ERROR sls.SLSRunner: Failed to create an AM: Can't find the queue by the given name: sls_queue_1! Please check if q... 阅读全文

posted @ 2018-07-13 18:37 sichenzhao 阅读(295) 评论(0) 推荐(0)

摘要：运行slsrun.sh时报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector.TimelineCollector ... 阅读全文

posted @ 2018-07-13 17:10 sichenzhao 阅读(361) 评论(0) 推荐(0)

摘要： apache在18年5月底发布hadoop3.0.3，但bug好像更多了。运行rumen2sls.sh，将rumen转化为sls文件时，报错：错误: 找不到或无法加载主类 org.apache.hadoop.yarn.sls.RumenToSLSConverte解决方... 阅读全文

posted @ 2018-07-13 15:27 sichenzhao 阅读(365) 评论(0) 推荐(0)