一次简单的爬虫

目标网站：

http://www.shicimingju.com/chaxun/zuozhe/9.html，爬取苏轼的所有诗词，并存入mongoDB，步骤如下：


1、分析目标网站
2、提取目标数据，可通过正则提取出诗词的标题和诗词内容
3、将提取出的内容存到mongo

以下为全部代码：

import re
import requests
import datetime
from pymongo import MongoClient

# mongo为本地搭建的
def create_mongoConn():
    client = MongoClient('mongodb://localhost:27017/shici')
    db = client.shici
    return db

db = create_mongoConn()
coll = db.sushi

def logger(message):
    print(str(datetime.datetime.now()) + '   ' + message)
logger('start')
# 总共173页
for i in range(1, 174):
    if i == 1:
        url = 'http://www.shicimingju.com/chaxun/zuozhe/9.html'
    else:
        url = 'http://www.shicimingju.com/chaxun/zuozhe/9_%s.html' % i
    res = requests.get(url)
    pattern1 = re.compile('<a\shref="javascript:void\(0\)"\sclass="show_more_shici".*?none">', re.S)
    text = re.sub(pattern1, '', res.text)
    pattern = re.compile('<div\sclass="shici_list_main">.*?《(.*?)》.*?<div\sclass="shici_content">(.*?)</div>', re.S)
    results = re.findall(pattern, text)
    count = 20 * (i - 1)
    for result in results:
        count += 1
        poem_title = result[0].strip()
        poem_content = result[1].replace(' ', '')
        poem_content_temp = re.sub('<br\/>', '', poem_content)
        poem_content_final = re.sub('<br>', '',poem_content_temp)
        #写入文件
        # with open(file='sushi_poem.txt', mode='a+', encoding='utf-8') as f:
        #     f.writelines(str(count) + '、'+poem_title + '\n')
        #     f.writelines(poem_content_final + '\n')
        #写入mongo
        coll.insert_one({'poetry_name' : poem_title, 'poetry_content' : poem_content_final, 'poet' : '苏轼'})
logger('end')

其中，未解决的问题有匹配诗词标题时，多个双引号的未完全匹配，如：《子由在筠作《东轩记》，或戏之为东轩长老。》，还未解决，后续再想办法。

参考资料：

正则使用方法：https://www.py.cn/spider/guide/14488.html