用解析器解析出数据后就要对数据进行存储。存储形式有多种，可直接在保存为文本文件，如TXT,JSON,CSV等。另外还可保存到数据库中，如关系型数据库MySQL，非关系型数据库MongoDB，Redis等。
一 文件存储
主要有txt，json，csv等文本文件存储方式。
（一） TXT文本存储
优点：简单，兼容任何平台；缺点：不利于检索。对检索和数据结构要求不高，使用方便的话，可用TXT文本存储。
下面以保存知乎上“发现”页面的“热门话题”部分，将问题和答案都保存为文本文件形式。
1 实例
用requests获取网页源代码，用pyquery解析库解析，提取标题、回答者、回答保存到文本。代码如下：
import requests
from pyquery import PyQuery as pq
url = "https://www.zhihu.com/explore"
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko)'
'Chrome/58.0.3029.110 Safari/537.36'
}
html = requests.get(url, headers=headers).text # 获取网页源代码文本
doc = pq(html)
items = doc('.explore-tab .feed-item').items() # 结果是列表形式
file = open('explore.txt', 'a', encoding="utf-8")
for item in items:
question = item.find('h2').text() # 获取每个标题
author = item.find('.author-link-line').text() # 获取每个标题的作者
answer = pq(item.find('.content').html()).text() # 先找到html文本，再转换为pyquery对象，再获取文本
file.write('\n'.join([question, author, answer])) # 将标题、作者、回答放在一起
file.write('\n' + '=' * 50 + '\n')
file.close()
上面代码展示了文件保存方式，没有对requests产生的异常进行处理。首先用request库提取知乎“发现”页面，获取网页源代码，将网页源代码转换为pyquery对象，之后使用pyquery的CSS选择器获取热门话题的问题、回答者、答案全文并提取出来。接着用open()方法打开一个文本文件，利用文件的write()方法将提取的内容写入文件。最后要关闭文件，这样就成功将抓取的内容保存到文件中了。此时在本地代码所在的目录下生成了explore.txt的文件，文件内容省略。
注意open()方法第一个参数是文件名称；第二个参数是打开方式，a表示追加；第三个参数是指定文件的编码是utf-8。
2 文件打开方式
文件的打开方式有下面这几种：
r: 以只读方式打开文件。文件的指针将会放在文件的开头。默认打开方式。
rb: 以二进制只读方式打开一个文件。文件指针放在文件的开头。
r+: 以读写方式打开一个文件。文件指针会放在文件的开头。
rb+: 以二进制读写方式打开一个文件。文件指针会放在文件的开头。
w: 以写入方式打开一个文件。如果文件存在，则覆盖原文件。如果文件不存在，则新建文件。
wb: 以二进制写入方式打开一个文件。如果文件存在，则覆盖原文件。如果文件不存在，则新建文件。
w+: 以读写方式打开一个文件。如果文件存在，则覆盖原文件。如果文件不存在，则新建文件。
wb+: 以二进制读写方式打开一个文件。如果文件存在，则覆盖原文件。如果文件不存在，则新建文件。
a: 追加方式打开文件。如果文件存在，指针在文件末尾，新内容写入到原有内容后面。如果文件不存在，创建新文件。
ab: 二进制追加方式打开文件。（同上）。
a+: 追加读写方式打开文件。如果文件存在，指针在文件末尾。如果文件不存在，创建新文件。
ab+: 二进制追加方式打开一个文件。（同上）。
3 打开文件的简化写法
使用with as语法打开，with控制块结束时，文件自动关闭，不需要调用close()方法关闭文件。如下所示：
with open('explore.txt', 'a', encoding='utf-8) as file:
file.write('\n'.join([question, author, answer]))
file.write('\n' + '=' * 50 + '\n')
如果要在打开时清空原文件内容，可将open()方法的第二个参数改为w。将数据保存为TXT文件简单易用、操作高效，最基本的保存数据方法。
（二） JSON文件存储
JSON是JavaScript Object Notation的简写，是JavaScript对象标记，通过对象和数组的组合来表示数据，构造简洁但结构化程度非常高，是一种轻量级数据交换格式。
1 对象和数组
在JavaScript语言中，一切都是对象。任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，对象和数组是比较特殊且常用的两种类型。
对象：在JavaScript中是使用花括号 {} 包裹起来的内容，数据结构为{keyl:valuel, key2:value2，…}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可以使用整数和字符串来表示。值的类型可以是任意类型。
数组：在JavaScript中是方括号 [] 包裹起来的内容，数据结构为["java", "javascript", "python",...]的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也可以像对象那样使用键值对，但还是索引用得多。同样，值的类型可以是任意类型。
一个JSON对象可以写为如下形式：
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-10"
},{
"name": "Selina",
"gender": "female",
"birthday": "1993-05-15"
}]
上面示例中的中括号[]包围的相当于列表类型，列表中的每个元素可以是任意类型，这个示例是字典类型，由大括号包围。JSON可由上面两形式自由组合，无限次嵌套，结构清晰，是数据交换的最好方式。
2 读取JSON
Python有JSON库实现JSON文件的读写操作。调用JSON库的loads()方法将JSON文本字符串转换为JSON对象，调用dumps()方法将JSON对象转换为文本字符串。
假设有一段str类型的JSON字符串，用python转换为可操作的数据结构，如列表或字典：
import json
str = """
[{
"name": "Bob",
"gender": "male",
"birthday": "1992-10-10"
},{
"name": "Selina",
"gender": "female",
"birthday": "1993-05-15"
}]
"""
print(type(str))
data = json.loads(str)
print(data)
print(type(data))
输出如下所示：
<class 'str'>
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-10'},
{'name': 'Selina', 'gender': 'female', 'birthday': '1993-05-15'}]
<class 'list'>
在代码中loads()方法将字符串转为JSON对象。由于最外层是中括号，所以结果类型是列表类型。此时可用列表的索引获取对象。例如要获取第一个元素的name属性，可用如下方式：
data[0]['name']
data[0].get('name')
输出结果都是Bob
上面展示了获取列表第一个字典元素，通过字典键名获取键值。获取键值有两种方式，一种是中括号加键名，另一种是通过get()方法传入键名。使用get()方法时，如果键名不存在，不会报错，会返回None。另外，get()方法还可以传入第二个参数（即默认值），示例如下：
data[0].get('age')
data[0].get('age', 20)
输出如下所示：
None
20
代码中用get()方法获取字典的age值，由于该键在字典中不存在，默认就返回None。如果在get()方法传入第二个参数，在键不存在的情况下，get()方法就返回第二个参数。
JSON数据需要使用双引号包围，不能用单引号。使用单引号会出现错误，例如下面这样：
import json
str = '''
[{
'name': 'michael',
'gender': 'male',
}]
'''
data = json.loads(str)
运行代码出现下面错误提示：
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8)
JSON字符串不是双引号包围，loads()方法解析会失败。
从JSON文件中读取内容，假设有data.json文件，先读取文件内容，再用loads()方法转化。如下所示：
import json
with open('data.json', 'r') as file:
str = file.read()
data = json.loads(str)
print(data)
输出如下所示：
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-10'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1993-05-15'}]
3 输出JSON
调用dumps()方法将JSON对象转化为字符串。示例如下：
import json
str = '''
[{
'name': 'michael',
'gender': 'male',
'birthday': '1990-05-20'
}]
'''
with open('data.json', 'w') as file:
file.write(json.dumps(str))
利用dumps()方法，将JSON对象字符转化为字符串，再调用文件的write()方法写入文本。
在windows中文本整个被双引号包围，如下所示：
"\n[{\n 'name': 'michael',\n 'gender': 'male',\n 'birthday': '1990-05-20'\n}]\n"
在linux中的文本会不一样，是一个完整的列表，如下所示：
[{"name": "Bob", "gender": "male", "birthday": "1990-10-10"}]
在保存为JSON格式时，加参数indent表示缩进字符个数file.write(json.dumps(str, indent=2))。这样得到的内容会自动缩进，格式更加清晰。在windows中的文件内容与前面一样，在linux中的文件内容可以看出清晰的结构：
[
{
"name": "michael",
"gender": "male",
"birthday": "1990-05-20"
}
]
处理中文：如果JSON中包含中文字符，用前面的方法写入文件时，中文会变成Unicode字符。例如下面这样：
import json
str = '''
[{
'name': '迈克尔',
'gender': '男',
'birthday': '1990-05-20'
}]
'''
with open('data.json', 'w') as file:
file.write(json.dumps(str, indent=2))
运行上面代码后，在linux中data.json文件内容如下所示：
[
{
"name": "\u8fc8\u514b\u5c14",
"gender": "\u7537",
"birthday": "1990-05-20"
}
]
上面的输出中中文是Unicode，如果要输出中文，在dumps()方法中指定ensure_ascii参数为False，另外还要规定文件输出的编码：
with open('data.json', 'w', encoding="utf-8") as file:
file.write(json.dumps(str, indent=2, ensure_ascii=False))
运行结果的文件内容省略。用Python进行JSON文件读写会在数据解析时常用到，需要熟练掌握。
（三） CSV文件存储
CSV是Comma-Separated Values，中文名是逗号分隔值或字符分隔值，以纯文本形式存储表格数据。该文件是一个字符序列，可由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，常用逗号或制表符。所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。相比Excel文件更简单，XLS文本是电子表格，包含了文本、数值、公式和格式等内容，而csv中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。
1 写入CSV文件
例如下面代码所示：
import csv
with open('data.csv', 'w') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['id', 'name', 'age'])
writer.writerow(['10001', 'Mike', 20])
writer.writerow(['10002', 'Bob', 22])
writer.writerow(['10003', 'Jordan', 21])
上面代码中首先以写方式打开data.csv文件，获得文件句柄csvfile，接着调用csv库的writer()方法初始化写入对象，传入参数是文件句柄。随后调用writerow()方法传入每行数据就可完成写入。运行代码后就得到data.csv文件，文本形式打开文件内容如下所示：
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
从文件内容可知，写入的文本默认以逗号分隔，调用一次writerow()方法即可写入一行数据。如果要修改默认的分隔符，可在调用csv库的writer()方法初始化写入对象时传入参数delimiter，例如修改为空格作分隔符：
writer = csv.writer(csvfile, delimiter=' ')
csv库的writerow()方法一次写入一行。另一个writerows()方法一次可写入多行，此时的参数是二维列表，例如：
import csv
with open('data.csv', 'w') as csvfile:
writer = csv.writer(csvfile, delimiter='!')
writer.writerow(['id', 'name', 'age'])
writer.writerows([['10001', 'Mike', 20],['10002', 'Bob', 22],['10003', 'Jordan', 21]])
在上面代码中指定分隔符是感叹号(!)，data.csv文件内容如下所示：
id!name!age
10001!Mike!20
10002!Bob!22
10003!Jordan!21
csv库还提供了字典的写入方式，示例如下：
import csv
with open('data.csv', 'w') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader() # 先写入头信息
writer.writerow({'id': '10001', 'name': 'Mike', 'age':20})
writer.writerow({'id': '10002', 'name': 'Bob', 'age':22})
writer.writerow({'id': '10003', 'name': 'Jordan', 'age':21})
这里先定义3个字段，用fieldnames表示，然后将其传给DictWriter来初始化一个字典写人对象，接着调用writeheader()方法先写人头信息，然后再调用writerow()方法传人相应字典。此时data.csv文件与前面的一样。
要追加写入，可修改文件的打开模式为a，即open()函数的第二个参数为a，例如下面这样：
import csv
with open('data.csv', 'a') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writerow({'id': '10004', 'name': 'Durant', 'age':22})
执行上面代码后，data.csv文件内容如下所示：
id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
10004,Durant,22
如果写入的内容有中文，就要在打开文件时指定编码格式，否则可能发生编码错误，例如下面代码中写入一行包含中文的数据：
import csv
with open('data.csv', 'a') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writerow({'id': '10005', 'name': '迈克尔', 'age':25})
2 读取
使用csv库的reader()方法读取csv文件，参数是打开的文件句柄。如下面代码所示：
import csv
with open('data.csv', 'r', encoding='gbk') as csvfile:
reader = csv.reader(csvfile)
for row in reader:
if len(row) == 0:
continue
print(row)
输出如下所示：
['id', 'name', 'age']
['10001', 'Mike', '20']
['10002', 'Bob', '22']
['10003', 'Jordan', '21']
['10004', 'Durant', '22']
['10005', '迈克尔', '25']
在代码中构造了Reader对象，遍历输出每行的内容，每一行都是列表的形式。由于windows的原因，文件中包含中文使用utf-8编码会报错，这里使用gbk编码。另外文件中还存在空行，所以使用if判断去掉空行。
还可以用pandas的read_csv()方法将数据从CSV文件读取出来，例如：
import pandas as pd
# windows的编码问题坑太深，使用的时候要多注意
df = pd.read_csv('data.csv', encoding='gbk')
print(df) # 输出如下所示
id name age
0 10001 Mike 20
1 10002 Bob 22
2 10003 Jordan 21
3 10004 Durant 22
4 10005 迈克尔 25
