序列化模块

序列化模块

　　1.什么叫序列化模块？

　　   将原本的字典、列表等内容转换成一个字符串的过程就称为序列化。

　　2.序列化的目的

　　　　1)以某种存储形式使自定义对象持久化。
　　　　2)将对象从一个地方传递到另一个地方。
　　　　3)使程序更具维护性。

1.1 json(数字 字符串 列表 字典 元组)

　　通用的序列化格式,只有很少的一部分数据类型能够通过json转化成字符串。

　　1.1.1 json:damps,loads

　　直接操作内存中的数据，操作完还在内存

#json dumps序列化方法 loads反序列化方法
dic = {1:"a",2:'b'}
print(type(dic),dic)
import json
str_d = json.dumps(dic)   # 序列化
print(type(str_d),str_d)
# '{"kkk":"v"}'
dic_d = json.loads(str_d) # 反序列化
print(type(dic_d),dic_d)

　　1.1.2 json:damp,load

#一行一行写
l = [{'k':'111'},{'k2':'111'},{'k3':'111'}]
f = open('file','w')
import json
for dic in l:
    str_dic = json.dumps(dic)
    f.write(str_dic+'\n')
f.close()
#每个键值对自成一行

　　操作文件中数据。
　　damp:将数据先转化为字符串，再写入文件。
　　load:将数据读出并转化为原有的数据类型。

#数据写入及读取
import json
# json dump load
dic = {1:"a",2:'b'}
f = open('fff','w',encoding='utf-8')
json.dump(dic,f)
f.close()
f = open('fff')
res = json.load(f)
f.close()
print(type(res),res)

　　连续多次写入并包含中文字符。

import json
# json dump load
dic = {1:"中国",2:'b'}
f = open('fff','w',encoding='utf-8')
json.dump(dic,f,ensure_ascii=False)
json.dump(dic,f,ensure_ascii=False)
f.close()
f = open('fff',encoding='utf-8')
res1 = json.load(f)
res2 = json.load(f)
f.close()
print(type(res1),res1)
print(type(res2),res2)

　　设置参数ensure_ascii=False是写入中文的保证，如果没有此参数，写入文件的是一串进制转换码，无法正常阅读，但是通过程序还是可以将其加载出来，并完整读出来。

1.2 pickle

　　所有的python中的数据类型都可以转化成字符串形式,pickle序列化的内容只有python能理解,且部分反序列化依赖python代码。
　　pickle:damps,loads,damp,load:用于python特有的数据类型和python的数据类型间进行转换。
　　支持分步写入和分步读取，json不行。

import pickle
dic = {'k1':'v1','k2':'v2','k3':'v3'}
str_dic = pickle.dumps(dic)
print(str_dic)  #一串二进制内容

dic2 = pickle.loads(str_dic)
print(dic2)    #字典

　　pickle的damps方法写入文件的数据为bytes类型,所以在写入和读取时打开文件需要使用'rb','wb'。

import time
struct_time1  = time.localtime(1000000000)
struct_time2  = time.localtime(2000000000)
f = open('pickle_file','wb')
pickle.dump(struct_time1,f)
pickle.dump(struct_time2,f)
f.close()
f = open('pickle_file','rb')
struct_time1 = pickle.load(f)
struct_time2 = pickle.load(f)
print(struct_time1.tm_year)
print(struct_time2.tm_year)
f.close()

1.3 shelve

　　shelve也是python提供给我们的序列化工具,序列化句柄,使用句柄直接操作,非常方便比pickle用起来简单一些。
　　shelve只提供给我们一个open方法,是用key来访问的,使用起来和字典相似。

import shelve
f = shelve.open('shelve_file')
f['key'] = {'int':10, 'float':9.5, 'string':'Sample data'}  #直接对文件句柄操作，就可以存入数据
f.close()

import shelve
f1 = shelve.open('shelve_file')
existing = f1['key']  #取出数据的时候也只需要直接用key获取即可，但是如果key不存在会报错
f1.close()
print(existing)

　　这个模块有个限制，它不支持多个应用同一时间往同一个DB进行写操作，所以当我们知道我们的应用如果只进行读操作，我们可以让shelve通过只读方式打开DB。

import shelve
f = shelve.open('shelve_file', flag='r')
existing = f['key']
print(existing)
f.close()
f = shelve.open('shelve_file', flag='r')
existing2 = f['key']
f.close()
print(existing2) 

　　由于shelve在默认情况下是不会记录待持久化对象的任何修改的，所以我们在使用shelve.open()时候需要修改默认参数，否则对象的修改不会保存。

import shelve
f1 = shelve.open('shelve_file')
print(f1['key'])
f1['key']['new_value'] = 'this was not here before'
f1.close()

f2 = shelve.open('shelve_file', writeback=True)
print(f2['key'])
f2['key']['new_value'] = 'this was not here before'
f2.close()

注：writeback方式有优点也有缺点,有点事减少了我们出错的概率,并且让对象的持久化对用户更加的透明了，但这种方式并不是所有的情况下都需要。首先，使用writeback以后,shell在open()的时候会增加额外的内存消耗，并且当DB在close()的时候会将缓存中的每一个对象都写入到DB，这也会带来额外的等待时间，因为shelve没有办法知道缓存中哪些对象修改了，哪些对象没有修改。因此，所有的对象都会被写入。