随笔分类 -  Python

大规模爬虫流程总结
摘要：大规模爬虫流程总结 爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当 阅读全文

posted @ 2017-10-20 10:43 淘才 阅读(7812) 评论(1) 推荐(5)

导航