爬虫心得

  1. 如果网址比较具有时效性, 可以先写仅具有下载功能的爬虫而不先解析
  2. 写爬虫如果需要解析的话, 应该先研究反反爬策略或可以提前下载几个网页到本地,然后进行解析匹配, 避免在测试时频繁请求目标网址, 同时也节省了请求网页的时间
  3. 解析匹配写完后, 再开始数据的爬取, 然后进行调试等等
posted @ 2019-08-11 22:48  twfb  阅读(208)  评论(0)  编辑  收藏  举报