爬虫HTTP和FIDDLER的使用

Cookie

=================================================================================

Python 模块安装位置：

#python 自带模块安装位置 /usr/lib/python3.6/urllib.py  ,Python自带三方模块/usr/local/lin/python3.6/site-packages
#urllib 默认的 User0Agent：python-urllib/36

===================================================================================
请求头信息：

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8#可以接受的文件内容，text文本类型，文档，图片  q=权重比
Host:www.baidu.com    #主机是百度
Accept-Encoding:gzip, deflate, br #客户端可以做的编解码操作，web接受的数据大可以进行压缩，表明可以gip压缩，，写爬虫不要写这行
Accept-Language:zh,zh-CN;q=0.8#客户端可以支持的语言，中文简体
Cache-Control:max-age=0#获取最大值参数
Connection:keep-alive  #保存长链接，流量器不关闭，链接就一直存在
Cookie:BAIDUID=CF72B8ABA1C50F70D56631BE0677A05A:FG=1; BIDUPSID=CF72B8ABA1C50F70D56631BE0677A05A; PSTM=1499259166; BDUSS=dufldXZkU2MjdUeWpBR0locWhjem5MU2Z5R0dVWmJSbGl2dVl-MFBuZU1MbzFaTVFBQUFBJCQAAAAAAAAAAAEAAADmKAKYzPDA9dfTufu5-720YwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAIyhZVmMoWVZNX; __cfduid=d99cf56b1b30362851faffb0b008f8ae51500978892; H_PS_645EC=fbeb7lruAvNXj4BROeuTSAmK9regBSCFjQHf%2BM7cu7uwb0xSBgpVdWhCOpuGHRNi6AEN; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; BD_CK_SAM=1; PSINO=5; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BD_HOME=1; H_PS_PSSID=1439_13551_21084_17001_24093_22160; BD_UPN=12314353
#保存登入浏览器信息，爬取登入后网站需要cookie，一般用于post请求
Upgrade-Insecure-Requests:1 #升级http为https请求，报警不安全
User-Agent:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36#浏览器客户端的版本信息
raw ：#响应
TexrView：# text内容 网页源码
ImageView：#响应图片内容
webview：#浏览器怎么显示，这里怎么显示

 常见响应状态码