2019年8月14日
动态调整线程数的python爬虫代码分享
摘要： 这几天在忙一个爬虫程序，一直在改进他，从一开始的单线程，好几秒一张图片(网络不好)，，，到现在每秒钟十几张图片，，， 四个小时586万条数据，，，简直不要太爽 先上图 最终写出来的程序，线程数已经可以动态调整了，贼暴力。。。峰值能稳定在50个线程，具体思路可以继续看 这里终于用到了操作系统的知识，就 阅读全文
posted @ 2019-08-14 02:00 Startu 阅读(835) 评论(2) 推荐(0)