2018年8月29日
Yarn Node Labels
摘要： Yarn Node Labels + Capacity-Scheduler 在yarn-site.xml中开启capacity-schedule 配置capacity-scheduler.xml文件 添加Yarn Node Labels yarn rmadmin -addToClusterNodeL 阅读全文
posted @ 2018-08-29 15:47 澄轶(程毅) 阅读(1096) 评论(0) 推荐(0)
JVM调优总结 -Xms -Xmx -Xmn -Xss
摘要： 原：JVM调优总结 -Xms -Xmx -Xmn -Xss java -Xmx3550m -Xms3550m -Xmn2g-Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置JVM促使内存为3550m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后J 阅读全文
posted @ 2018-08-29 14:36 澄轶(程毅) 阅读(258) 评论(0) 推荐(0)
[转] - Weiflow——微博机器学习框架
摘要： "Weiflow——微博机器学习框架" 本文从开发效率（易用性）、可扩展性、执行效率三个方面，介绍了微博机器学习框架Weiflow在微博的应用和最佳实践。 在上期《基于Spark的大规模机器学习在微博的应用》一文中我们提到，在机器学习流中，模型训练只是其中耗时最短的一环。如果把机器学习流比作烹饪，那 阅读全文
posted @ 2018-08-29 14:15 澄轶(程毅) 阅读(168) 评论(0) 推荐(0)