序列化模块

一.序列化模块包括:json模块和pickle模块

1.定义:什么叫序列化----将原本的字典,列表等内容转换成一个字符串的过程就叫做序列化

比如，我们在python代码中计算的一个数据需要给另外一段程序使用，那我们怎么给？
现在我们能想到的方法就是存在文件里，然后另一个python程序再从文件里读出来。
但是我们都知道，对于文件来说是没有字典这个概念的，所以我们只能将数据转换成字典放到文件中。
你一定会问，将字典转换成一个字符串很简单，就是str(dic)就可以办到了，为什么我们还要学习序列化模块呢？
没错序列化的过程就是从dic 变成str(dic)的过程。现在你可以通过str(dic)，将一个名为dic的字典转换成一个字符串，
但是你要怎么把一个字符串转换成字典呢？
聪明的你肯定想到了eval()，如果我们将一个字符串类型的字典str_dic传给eval，就会得到一个返回的字典类型了。
eval()函数十分强大，但是eval是做什么的？e官方demo解释为：将字符串str当成有效的表达式来求值并返回计算结果。
ＢＵＴ！强大的函数有代价。安全性是其最大的缺点。
想象一下，如果我们从文件中读出的不是一个数据结构，而是一句"删除文件"类似的破坏性语句，那么后果实在不堪设设想。
而使用eval就要担这个风险。
所以，我们并不推荐用eval方法来进行反序列化操作(将str转换成python中的数据结构)

2.序列化目的:

(1).以某种存储形式使自定义对象持久化

(2).将对象从一个地方传递到另一个地方

(3).使程序更具维护性

 二.json模块

1.json模块提供了四个功能:dumps,dump,loads,load

(1).序列化:

dic = {'key':'value','key1':'value1'}
ret = json.dumps(dic)   # 序列化:将一个字典转换成一个字符串
print(ret,type(ret))
print(dic,type(dic))
# 注意:josn转换完的字符串类型的字典中的字符串是由""表示的

结果:
{"key": "value", "key1": "value1"} <class 'str'>
{'key': 'value', 'key1': 'value1'} <class 'dict'>

 (2).反序列化:

dic = {'key':'value','key1':'value1'}
ret = json.dumps(dic)
res = json.loads(ret)   #反序列化:将一个字符串格式的字典转换成一个字典
print(res,type(res))
# 注意:要用json的loads功能处理的字符串类型的字典中的字符串必须由""表示

结果:
{'key': 'value', 'key1': 'value1'} <class 'dict'>

 2.json容易出现的问题

# 问题1
dic = {1:'value',2:'value1'}
ret = json.dumps(dic)   # 序列化
print(ret,type(ret))
print(dic,type(dic))

res = json.loads(ret)   # 反序列化
print(res,type(res))

结果:
{"1": "value", "2": "value1"} <class 'str'>
{1: 'value', 2: 'value1'} <class 'dict'>
{'1': 'value', '2': 'value1'} <class 'dict'>

# 问题2
dic = {1:[1,2,3],2:(4,5,'aa')}
ret = json.dumps(dic)   # 序列化
print(dic,type(dic))
print(ret,type(ret))

res = json.loads(ret)   # 反序列化
print(res,type(res))

结果:
{1: [1, 2, 3], 2: (4, 5, 'aa')} <class 'dict'>
{"1": [1, 2, 3], "2": [4, 5, "aa"]} <class 'str'>
{'1': [1, 2, 3], '2': [4, 5, 'aa']} <class 'dict'>

# 问题3
s = {1,2,'aa'}
ret = json.dumps(s)
print(ret)

结果:
程序出错

# 问题4
# TypeError: keys must be a string
json.dumps({(1,2,3):123})

结果:
程序报错

 json在所有的语言之间都通用:json序列化的数据在Python上序列化了,那么在JAVA中也可以反序列化

能够处理的数据类型是非常有限的:字符串,列表,字典,数字

字典中的key只能是字符串

3.json进行文件处理

# 向文件中记录字典
dic = {'key':'value','key1':'value1'}
ret = json.dumps(dic)   # 序列化
with open('wakaka','a') as f:
    f.write(ret)

结果:
{"key": "value", "key1": "value1"}


# 从文件中读取字典
# with open('wakaka','r') as f:
#     a = f.read()
# dic = json.loads(a)
# print(dic.keys())

结果:
dict_keys(['key', 'key1'])

# dump load 是直接操作文件的
dic = {'key1':'value1','key2':'value2'}
with open('wakaka','a') as f:
    json.dump(dic, f)

结果:
{"key1": "value1", "key2": "value2"}


with open('wakaka','r') as f:
    dic = json.load(f)
print(dic.keys())

结果:
dict_keys(['key1', 'key2'])

4.问题5:

# 问题5 不支持连续的存,取
dic = {'key1':'value1','key2':'value2'}
with open('wakaka','a') as f:
    json.dump(dic,f)
    json.dump(dic,f)
    json.dump(dic,f)

结果:
{"key1": "value1", "key2": "value2"}{"key1": "value1", "key2": "value2"}{"key1": "value1", "key2": "value2"}


with open('wakaka','r') as f:
    dic = json.load(f)
print(dic.keys())

结果:
程序出错

 5.习题演练

# 需求:就是想要把一个一个的字典放到文件中,再一个一个取出来
dic = {'key1':'value1','key2':'value2'}
with open('wakaka','a') as f:
    str_dic = json.dumps(dic)
    f.write(str_dic + '\n')
    str_dic = json.dumps(dic)
    f.write(str_dic + '\n')
    str_dic = json.dumps(dic)
    f.write(str_dic + '\n')

结果:
{"key1": "value1", "key2": "value2"}
{"key1": "value1", "key2": "value2"}
{"key1": "value1", "key2": "value2"}


with open('wakaka','r') as f:
    for line in f:
        dic = json.loads(line.strip())
        print(dic.keys())

结果:
dict_keys(['key1', 'key2'])
dict_keys(['key1', 'key2'])
dict_keys(['key1', 'key2'])

6.json中dumps,loads与dump,load的区别

dumps,loads

在内存中做数据交换:

　　dumps:数据类型 转成 字符串 序列化

　　loads:字符串 转成 数据类型 反序列化 

dump,load

直接将数据类型写入文件,直接从文件中读出数据类型

　　dump:数据类型 写入 文件 序列化

　　load:文件 读出 数据类型 反序列化

json是所有语言都通用的一种序列化格式

　　只支持 列表 字典 字符串 数字

　　字典的key必须是字符串

7.json的序列化输出

data = {'username':['李欢','二愣子'],'sex':'male','age':16}
a = json.dumps(data,sort_keys=True,indent=4,separators=('',':'),ensure_ascii=False)
print(a)

结果:
{
    "age":16
    "sex":"male"
    "username":[
        "李欢"
        "二愣子"
    ]
}

三. pickle模块

支持在python中几乎所有的数据类型

json:用于字符串和python数据类型间进行转换

pickle:用于python特有的类型和python的数据类型间进行转换

pickle模块提供了四个功能:dumps,dump(序列化,存);loads(反序列化,读);load(不仅可以序列化字典,

　　　　　　　　　　　　列表...可以把python中任意的数据类型序列化)

dic = {(1,2,3):{'a','b'},1:'abc'}
ret = pickle.dumps(dic)
print(ret)　　#一串二进制内容
# dumps 序列化的结果只能是字节
print(pickle.loads(ret))

结果:
b'\x80\x03}q\x00(K\x01K\x02K\x03\x87q\x01cbuiltins\nset\nq\x02]q\x03(X\x01\x00\x00\x00aq\x04X\x01\x00\x00\x00bq\x05e\x85q\x06Rq\x07K\x01X\x03\x00\x00\x00abcq\x08u.'

{(1, 2, 3): {'a', 'b'}, 1: 'abc'}

dic = {(1,2,3):{'a','b'},1:'abc'}
# dump
with open('ruwawa','wb') as f:
    a = pickle.dump(dic,f)
# load
with open('ruwawa','rb') as f:
    ret = pickle.load(f)
    print(ret,type(ret))

结果:
{(1, 2, 3): {'a', 'b'}, 1: 'abc'} <class 'dict'>

 

只能在python中使用

在和文件操作的时候,需要用rb,wb的模式打开文件 

 

dic = {(1,2,3):{'a','b'},1:'abc'}
dic1 = {(1,2,3):{'a','b'},2:'abc'}
dic2 = {(1,2,3):{'a','b'},3:'abc'}
dic3 = {(1,2,3):{'a','b'},4:'abc'}
with open('hehe','wb') as f:
    pickle.dump(dic,f)
    pickle.dump(dic1,f)
    pickle.dump(dic2,f)
    pickle.dump(dic3,f)

with open('hehe','rb') as f:
    ret = pickle.load(f)
    print(ret,type(ret))
    ret = pickle.load(f)
    print(ret,type(ret))
    ret = pickle.load(f)
    print(ret,type(ret))
    ret = pickle.load(f)
    print(ret,type(ret))

结果:
{(1, 2, 3): {'a', 'b'}, 1: 'abc'} <class 'dict'>
{(1, 2, 3): {'a', 'b'}, 2: 'abc'} <class 'dict'>
{(1, 2, 3): {'a', 'b'}, 3: 'abc'} <class 'dict'>
{(1, 2, 3): {'a', 'b'}, 4: 'abc'} <class 'dict'>

 

可以多次dump和多次load 

with open('hehe','rb') as f:
    while True:
        try:
            ret = pickle.load(f)
            print(ret,type(ret))
        except EOFError:
            break

结果:
{(1, 2, 3): {'b', 'a'}, 1: 'abc'} <class 'dict'>
{(1, 2, 3): {'b', 'a'}, 2: 'abc'} <class 'dict'>
{(1, 2, 3): {'b', 'a'}, 3: 'abc'} <class 'dict'>
{(1, 2, 3): {'b', 'a'}, 4: 'abc'} <class 'dict'>