2019年1月10日
Linux基础之查看linux发行版以及内核版本
摘要： redhat查看发行版 # cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) 查看内核版本 # uname -aLinux $host 3.10.0-327.28.3.el7.x86_64 #1 SMP Thu Aug 18 1 阅读全文
posted @ 2019-01-10 17:25 匠人先生 阅读(508) 评论(0) 推荐(0)
大叔经验分享（21）yarn中查看每个应用实时占用的内存和cpu资源
摘要： 在yarn中的application详情页面 http://resourcemanager/cluster/app/$applicationId 或者通过application命令 yarn application -status $applicationId 只能看到应用启动以来占用的资源*时间统 阅读全文
posted @ 2019-01-10 16:54 匠人先生 阅读(14717) 评论(1) 推荐(0)
大叔经验分享（19）spark on yarn提交任务之后执行进度总是10%
摘要： spark 2.1.1 系统中希望监控spark on yarn任务的执行进度，但是监控过程发现提交任务之后执行进度总是10%，直到执行成功或者失败，进度会突然变为100%，很神奇， 下面看spark on yarn任务提交过程： spark on yarn提交任务时会把mainClass修改为Cl 阅读全文
posted @ 2019-01-10 16:18 匠人先生 阅读(2378) 评论(0) 推荐(0)