摘要:Chapter I 简介 ====== 为什么要写爬虫? 1. 每个网站都应该提供 API,然而这是不可能的 2. 即使提供了 API,往往也会限速,不如自己找接口 注意已知条件(robots.txt 和 sitemap.xml) 1. robots.txt 中可能会有陷阱 2. sitemap 中 阅读全文
posted @ 2017-02-06 22:53 ospider 阅读 (919) 评论 (0) 编辑