随笔分类 -  爬虫

爬虫请求库之requests
摘要：requests简介 基于get请求 import requests # https://www.baidu.com/s?wd=python url='https://www.baidu.com/s' kw=input(">>:") headers={ 'User-Agent': 'Mozilla/ 阅读全文
posted @ 2019-05-29 18:43 pdun 阅读(146) 评论(0) 推荐(0)
爬虫常识
摘要：爬虫在使用场景中的分类 robots.txt协议 君子协议 User-agent: Baiduspider Allow: /article Allow: /oshtml Allow: /ershou Allow: /$ Disallow: /product/ Disallow: / User-Age 阅读全文
posted @ 2019-05-27 17:33 pdun 阅读(281) 评论(0) 推荐(0)