Python 网络爬虫

必考点

1.导入库

2.定义变量

url=''  '' link=''  ''  headers={user-agent:}

 

3.执行代码

r=requests.get('''地址'''，headers=headers，timeout=10）

response.html

 

4.判断

r.encoding    #编码问题（从http headers中猜测的内容编码)

r.status_code    #返回状态码 200

 

5.打印代码

print(r.text)

 

 

核心代码

1.

#书写标准
try：
expect：    #抛出异常

 

2.

 

r.encoding=r.apparent_encoding('''从内容中分析出来的内容编码''')
#在异常检测中，使用自动判断状态码：
r.raise_for_status()　　200

 

 

 

3.

r.request.headers 　　#检查头标信息
r.request.url         #检查链接地址
''''

4.

　　#带参数的url地址
    world={'wd':关键字'}
    url='https://www.baidu.com/s'

    ''''''