爬虫数据持久化的几种常用方法

1、txt

用普通的磁盘IO操作即可

2、csv

import csv
with open('xxx.csv','w') as f:
　　writer = csv.writer(f)
　　writer.writerow([])
　　writer.writerows([(),(),()])

需注意单条数据写入的参数格式是列表，多条数据写入的参数格式是列表嵌套元组，推荐使用多条数据一次性写入，效率高。

3、json：使用json模块中的dump函数

import json
data = {'xxx':'yyy'}
with open('zzz.json','w') as f:
    json.dump(ob_data,f,ensure_ascii=False)

4、数据库：MySQL、MongoDB、Redis

存入MySQL：

import pymysql
# __init__(self):
self.db = pymysql.connect('IP',... ...)
self.cursor = self.db.cursor()
# write_data(self):
self.cursor.execute('sql',[data1])
self.cursor.executemany('sql',[(data1),(data2),(data3)])
self.db.commit()
# main(self):
self.cursor.close()
self.db.close()

存入MongoDB：

import pymongo
# __init__(self):
self.conn = pymongo.MongoClient('IP',27017)
self.db = self.conn['db_name']
self.myset = self.db['set_name']
# write_data(self):
self.myset.insert_one(dict)
# MongoDB - Commmand
>show dbs
>use db_name
>show collections
>db.collection_name.find().pretty()
>db.collection_name.count()
>db.collection_name.drop()
>db.dropDatabase()

存入Redis：

　　使用Redis中的字符串、列表、哈希、集合、有序集合进行存储