2020年2月21日
《C# 爬虫 破境之道》：第二境 爬虫应用 — 第七节：并发控制与策略
摘要： 我们在第五节中提到一个问题，任务队列增长速度太快，与之对应的采集、分析、处理速度远远跟不上，造成内存快速增长，带宽占用过高，CPU使用率过高，这样是极度有害系统健康的。 我们在开发采集程序的时候，总是希望能够尽快将数据爬取下来，如果总任务数量很小（2~3K请求数之内），总耗费时长很短（1~2分钟之内 阅读全文
posted @ 2020-02-21 10:24 MikeCheers 阅读(662) 评论(5) 推荐(5) 编辑