鱼儿慢慢游~~

导航

 

在编写spark 程序时,有时需要获取job id 进行记录。 只需在程序中加入:

sc.applicationId
res0: String = app-20150224184813-11531

每个job提交后, 均有自己的监控页面。

采用spark restful api 监控job时,如:

curl 127.0.0.1:4040/api/v1/applications  时, 只能获取一个application的状态,这是因为,同时提交多个任务的的时候,默认的端口是从4040开始递增的,

即,第二个application 的端口是4041....

使用8080端口,即spark web的端口,可以列举所有的application,包括已经运行结束的。 若要查看某个具体的application的运行状态,

使用  

curl 127.0.0.1:8080/api/v1/applications/appid  即可。

 

posted on 2016-11-29 09:29  miss_UU  阅读(7879)  评论(0编辑  收藏  举报