2017年12月4日
通过SHELL并发获下载数据
摘要： 手头上有1万个URL , 尝试用迅雷下载, 结果放在列表中就挂了 ,与同事沟通cat + xargs 能快速实现 . 具体代码如下: urlList.txt 执行调用: cat urlList.txt | xargs -P3 -n1 bash getFile.sh 其中-P3 代表3个并发 检查执行 阅读全文
posted @ 2017-12-04 13:53 伟成 阅读(415) 评论(0) 推荐(0)