爬取网页--get()函数

get()函数：使用get()函数时可以发送不携带url参数和携带url参数的GET请求。

语法:getaa(url,params=None,headers=None,cookies=None,verify=True,proxies=Noen,timeout=None,**kwargs)

url:必选参数，表示请求的URL。

params:可选参数，表示请求的查询字符串。

headers:可选参数,表示请求的请求头，该参数只支持字典类型的值。

cookies:可选参数，表示请求的Cookie信息，该参数支持字典或CookieJar类对象。

verify:可选参数，表示是否启用SSL证书，默认值为True。

proxies:可选参数,用于设置代理服务器，该参数只支持字典类型的值。

timeout:可选参数，表示请求网页时设定的超时时长，以秒为单位。

不带参数时，get()函数只需要给url参数传入指定的URL即可。

import requests
base_url = 'https://www.baidu.com/'
response = requests.get(url = base_url)
print(response.status_code)

　　输出结果是:200

带参数时有两种方法

方法一：在调用get()函数之前就赋值给一个变量,然后get()函数只需要给url参数传入指定的URL即可。

import requests
base_url ='https://www.baidu.com/'
ie_param = "ie = utf-8"
wd_param = "wd = python"
full_url = base_url+"?"+ie_param+"&"+wd_param
response = requests.get(full_url)
print(response.status_code)

　　输出:200

方法二:在调用get()函数时将其它参数也直接传入get()函数中

import requests
base_url ='https://www.baidu.com/'
ie_param = "ie = utf-8"
response = requests.get(url = base_url,params=ie_param)
print(response.status_code)

　　输出:200