摘要：请求 1 get请求 r = requests.get('https://api.github.com/events') r = requests.get(url, headers=headers) 2 post请求 r = requests.post('http://httpbin.org/pos 阅读全文

摘要：在爬取网站内容的时候，最常遇到的问题是：网站对IP有限制，会有防抓取功能，最好的办法就是IP轮换抓取（加代理） 下面来说一下Scrapy如何配置代理，进行抓取 1.在Scrapy工程下新建“middlewares.py” 2.在项目配置文件里(./pythontab/settings.py)添加 完 阅读全文

摘要：爬虫 创建项目 ：scrapy startproject Myspider（项目名） 创建爬虫 ：scrapy genspider baidu (爬虫名) "域名" 运行爬虫 : scrapy crawl 爬虫 allowed_domains = ['tencent.com/'] 这是错误的写法， 阅读全文