摘要：
一.背景介绍 项目上进行算法调度的需求，打算采用kafka作为消息中间件，通过将多个算法消费者加入到同一个group中并行的处理算法请求，从而达到高效处理的目的。但是算法处理的时间较长，多则几十分钟，短的几分钟。测试的结果是算法时间过长的消费者会引发kafka的rebalance，消费者无法再消费到 阅读全文
摘要：
1.背景介绍：平台使用的华为FI C203的版本，通过SparkStreaming消费kafka数据后，进行算法处理入库。其中在算法部分耗时为4秒，每个批的数据量在30MB左右。执行算法部分的算子分区数据从50调大至150，发现算法部分时间开销仍然在4秒左右，并未提高。 2.调优手段： spark. 阅读全文