task service的ftp和s3同步文件后续优化方案

1,开启多个task service服务,比如153,154,162各开启一个服务,去ftp和s3读取文件的第一步首先改文件名,比如xxxxxx_153,然后其他154和162不去处理这个文件,xxxxxxx_153只下载到153服务器去处理。

2,要验证一下首先改文件名这种方式是否有并发问题(比如多个task service改名的一瞬间被其他服务也读到了文件并且改名)

posted @ 2019-09-24 18:59  kuroniko  阅读(278)  评论(0)    收藏  举报