2019年5月27日
爬虫常识
摘要： 爬虫在使用场景中的分类 robots.txt协议 君子协议 User-agent: Baiduspider Allow: /article Allow: /oshtml Allow: /ershou Allow: /$ Disallow: /product/ Disallow: / User-Age 阅读全文
posted @ 2019-05-27 17:33 pdun 阅读(278) 评论(0) 推荐(0)