服务端spark gbdt模型计算性能优化

  服务端使用训练出来的模型,spark模型计算第一步是实现spark模型加载。

  线上服务对用户体验影响极大,故需要对模型使用进行优化。

  1、多线程并发进行计算,线上两个服务。优化cpu

       2、在扩召回集,io是性能瓶颈,特征服务内进行计算。优化io

       3、在扩大召回集,多个计算节点,请求节点只发送请求,多个节点计算,同时并发计算。优化io和cpu

 

posted @ 2017-09-04 20:01  杉枫  阅读(466)  评论(0编辑  收藏  举报