摘要： url: 就是需要请求，并进行下一步处理的url callback: 指定该请求返回的Response，由那个函数来处理。 method: 一般不需要指定，使用默认GET方法请求即可 headers: 请求时，包含的头文件。一般不需要。内容一般如下：使用 urllib2 自己写过爬虫的肯定知道 Host: media.readthedocs.org User... 阅读全文

摘要： (1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0' (2):第二种方法是修改scrapy的user-agent默认值 找到Python的:安装目录下的default_settings.py文件, C:\Program Files (x86)\Anaconda2\e 阅读全文