用于爬取的json储存

import json
import pickle # pickle 对象,用于爬取的json储存
import pandas as pd # 字典里全是列表,用pandas查看

with open('response.pkl', 'rb') as f:
content = pickle.load(f)
mydict = json.loads(content) # loads 字符串读入的
mydict['showapi_res_body'].keys() # .keys() 查看所有的键
mydict['showapi_res_body']['area'] # 拿字典下面的key
mydict['showapi_res_body']['list']

# pandas 把pandas数据储存为json格式
df = pd.DataFrame(mydict['showapi_res_body']['list'])
df1 = df.iloc[:3, :] # :3 只截取前3天数据 : 所有的列都保留
print(df1)
# 把pandas里的数据,重新保存成json文件,分2步
df1.to_json() # 1. 把pandas里的数据,转成json格式,存到字符串
df1.to_json("output.json", orient='records') # "output.json" 储存的路径 默认是按列存,orient='records'是按行存

# 直接储存
mylist = mydict['showapi_res_body']['list'][:3] # 只取其中前3个
with open('output1.json', 'w') as f: # output1.json 文件名
json.dump(mylist, f)
posted @ 2023-08-11 22:56  严永富  阅读(12)  评论(0)    收藏  举报