2017年2月6日
用 Python 编写网络爬虫 笔记
摘要： Chapter I 简介 ====== 为什么要写爬虫？ 1. 每个网站都应该提供 API，然而这是不可能的 2. 即使提供了 API，往往也会限速，不如自己找接口 注意已知条件（robots.txt 和 sitemap.xml） 1. robots.txt 中可能会有陷阱 2. sitemap 中 阅读全文
posted @ 2017-02-06 22:53 ospider 阅读(1272) 评论(0) 推荐(0) 编辑