爬虫相关

爬虫爬取的数据分为服务器渲染，或者本地渲染

用户发送请求后获得的是服务器返回的完整的html代码，就叫做服务器渲染

本地渲染是服务器通过发送框架，和数据在本地拼接的叫做本地渲染，

 

get-显示提交

post-隐示提交

url中请求一般都是使用的get请求

 

import requests
#get类型案例
# query=input("输入关键词")
# header={
#     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36"
# }
# url=f"https://www.baidu.com/s?wd={query}"
# resp=requests.get(url,headers=header)
# print(resp)
# print(resp.text)

#post类型案例

# url="https://fanyi.baidu.com/sug"
# s=input("请输入要翻译的英文")
# dat={
#     "kw":s
# }
# #发送post请求，发送的数据必须放在字典中，通过data参数进行传递
# resp=requests.post(url,data=dat)
# print(resp.json()) #将服务器返回内容处理成json


# #存入文件
# with open("mybaidu.html",mode="w",encoding="utf-8") as f:
#     f.write(read)
# print("over")
url="https://movie.douban.com/j/chart/top_list?"

#重新封装参数
param={
"type": "24",
"interval_id": "100:90",
"action":"",
"start": "0",
"limit": "20"
}
header={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36"
 }
resp=requests.get(url=url,params=param,headers=header)
print(resp.json())
resp.close()