自建模型中心服务出现并发响应慢的问题

使用fast-api搭建服务
当执行单次请求时，响应速度正常

如果并发量提高至60，则耗时在100s 左右

思路： NEW API