python爬虫学习（一）requests

不是python自带的，需要安装pip install requests

import requests
url = 'https://cn.bing.com/search?q=%E8%B1%86%E7%93%A3'
#请求网页url一般是get请求，这里用requests的get方法
res = requests.get(url)
print(res)

 

 

 输出为200代表请求成功返回200

print(res.text)
#代表请求res中的内容

这里可能会出现反爬，需要加上headers

headers = {
    "user-agent": "XXXXXX自己的user-agent内容"
}
res = requests.get(url ,headers=headers)
#加上headers

可以加上控制台内容搜索

query = input("请输入一个内容")
#实现自定义搜索
#注意url前加上f
url = f'https://cn.bing.com/search?q={query}'

post请求中需要加上访问参数，发送的数据放在字典中，通过data参数进行传递

import requests
url = "https://fanyi.baidu.com/sug"
#此请求为post
t = input("请输入你要翻译的英文：")
#传入数据
data = {
    "kw":t
}
#发送请求
res = requests.post(url,data = data)
print(res.json())

 get传参数：params

post传参数：data

import requests
url = "https://movie.douban.com/j/chart/top_list"

#params是get请求带参数
#data是post请求带参数

#重新进行封装参数
param = {
    "type":"24",
    "interval_id":"100:90",
    "action":"",
    "start":0,
    "limit":20,
}
res = requests.get(url = url, params = param)
print(res.request.url)