爬虫实战 - 爬取豆瓣top250 - 保存到SQLite中

from bs4 import BeautifulSoup
import urllib.request
import urllib.parse
import urllib.error
import sqlite3
import xlwt
import re
import os
import time

# 文件保存路径
save_path = '豆瓣Top250.xls'
dbpath = 'movieTop.db'

# headers数据包
head_package = {}
head_package['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
# head_package['Cookie'] = 'll="118226"; bid=Qfmj76DkrD8; __utmv=30149280.20459; douban-profile-remind=1; gr_user_id=a58b8c23-ff09-4e14-91d7-599fd84a9682; _vwo_uuid_v2=D007BD5CC7E89E79A31FD5B37908B75EB|9cfed6ff673a9ef600e186fcb321944d; douban-fav-remind=1; viewed="3671502"; _vwo_uuid_v2=D007BD5CC7E89E79A31FD5B37908B75EB|9cfed6ff673a9ef600e186fcb321944d; ap_v=0,6.0; __utmc=30149280; __utmz=30149280.1618040804.22.19.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utmc=223695111; __utmz=223695111.1618040804.3.3.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utma=30149280.756924018.1591256763.1618040804.1618043277.23; __utmb=30149280.0.10.1618043277; __utma=223695111.748862546.1609985591.1618040804.1618043277.4; __utmb=223695111.0.10.1618043277; _pk_ref.100001.4cf6=["","",1618043277,"https://www.douban.com/"]; _pk_ses.100001.4cf6=*; _pk_id.100001.4cf6=73809205b31654d3.1609985591.4.1618043308.1618041207.'

# 正则表达式 - 规则 - 模板 字符串之前记得写 r
# 链接
re_link = re.compile(r'<a href="(.*?)">')  # 正则表达式中，()表示一个组-整体，该表达式是任意字符重复大于等于0次，并且有0或1个这样的字符串

# 图片
re_img = re.compile(r'<img .*src="(.*?)"', re.S)  # 忽略换行符

# 片名
re_title = re.compile(r'<span class="title">(.*)</span>')

# 评分
re_rating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')

# 评分人数
re_people = re.compile(r'<span>(\d*人评价)</span>')  # 注意反斜杠 \d

# 一句话
re_quote = re.compile(r'<span class="inq">(.*)</span>')

# 影片简介
re_background = re.compile(r'<p class="">(.*?)</p>', re.S)  # 这里的 ？必须要加，原因见笔记


# 打开链接
def ask_url(para_url, para_head):
    request = urllib.request.Request(url=para_url, headers=para_head)
    para_html = ''  # response对象被 read后是二进制数据
    try:
        response = urllib.request.urlopen(request)
        para_html = response.read()
    except urllib.error as e:
        print(e.reason)

    return para_html


# 保存数据到 excel中
def save_data(para_datalist, para_savepath):
    my_workbook = xlwt.Workbook(encoding='utf-8', style_compression=0)  # workbook对象
    my_sheet1 = my_workbook.add_sheet('sheet1', cell_overwrite_ok=True)  # 工作表;cell_overwrite_ok表示是否以新内容覆盖单元格内原有的内容
    first_row = ('影片链接', '图片链接', '中文名', '外国名', '影片评分', '评分人数', '一句话评价', '影片简介')  # 写入Excel的第一行标题
    for i in range(0, 8):
        my_sheet1.write(0, i, first_row[i])

    # 写入爬取的250条内容
    count_movie = 0  # 计数：第几个电影
    for i in range(0, 250):
        # 每条中有8种信息
        for j in range(0, 8):
            my_sheet1.write(i + 1, j, para_datalist[count_movie + j])

        print('正在爬取第%d条电影' % (i + 1))
        count_movie += 8  # 切换到下一部电影

    # 保存Excel文件
    my_workbook.save(para_savepath)
    print('爬取完成！')


# 获取数据
def get_data(para_url, para_head):
    datalist = []

    # 顺序爬取豆瓣电影top250的10个网页
    for i in range(0, 10):
        # 每一页
        temp = 'start=' + str(i * 25)
        pre_url = para_url.replace('start=0', temp)
        temp_html = ask_url(pre_url, para_head).decode('utf-8')
        data = []

        # 爬取完成后对数据(temp_html)进行解析
        soup = BeautifulSoup(temp_html, 'html.parser')
        # find_all的新方法，标签名与类名同时查找（笔记中的 *kwargs）
        # 找到了所有的 item 标签，并将标签及其内容返回到了 temp

        # 每一条电影
        for temp in soup.find_all('div', class_='item'):
            # print(type(temp))  # 在 bs4中找到的标签等均是bs4的文件类型：bs4.element.Tag
            # 所以在下面的正则查找时要转换成 string 类型才可以
            str_temp = str(temp)

            # 链接
            temp_link = re.findall(re_link, str_temp)[0]  # 有可能在一个item中找到多个，我们只打印一个
            data.append(temp_link)
            # findall最后只返回组内元素 - 连接

            # 图片
            temp_img = re.findall(re_img, str_temp)[0]
            data.append(temp_img)

            # 名称 - 注意其中包含中文名与外国名两个元素
            temp_title = re.findall(re_title, str_temp)
            if len(temp_title) == 2:
                data.append(temp_title[0])  # 中文名
                data.append(temp_title[1].replace('/', '').strip())  # 英文名, 并且把英文名前的斜杠消除
            else:
                data.append(temp_title[0])
                data.append(' ')  # 若没有英文名，则必须置为空，保证顺序

            # 评分
            temp_score = re.findall(re_rating, str_temp)
            data.append(temp_score[0])

            # 评分人数
            temp_people = re.findall(re_people, str_temp)[0]
            data.append(temp_people)

            # 一句话
            temp_quote = re.findall(re_quote, str_temp)
            if temp_quote:
                data.append(temp_quote[0].replace('。', ''))
            else:
                data.append(' ')

            # 简介
            temp_background = re.findall(re_background, str_temp)[0]
            # 去掉<br/>
            temp_background = re.sub(r'<br(\s+)?/>(\s+)?', '', temp_background)  # \s匹配空格、空白、tab
            # 去掉 /
            temp_background = re.sub(r'/', ' ', temp_background)
            # 去掉两个及以上的不间断空白符 \xa0或空格
            temp_background = re.sub('(\xa0| )+', ' ', temp_background)
            data.append(temp_background.strip())  # strip函数去掉开头结尾的换行符和空格

            # 将子列表 data加入到总列表 datalist中
            datalist.append(data)
            # 临时列表 data要置为空!
            data = []
    print(datalist)  # 测试 datalist
    return datalist


# 保存数据到 SQLite数据库中
def save_database(para_datalist, para_dbpath):
    conn = sqlite3.connect(para_dbpath)
    c = conn.cursor()

    for data in para_datalist:
        for index in range(0, len(data)):
            if index == 4:
                continue
            data[index] = '"' + data[index] + '"'  # 加上引号，为后面插入数据做准备

        sql = '''
        insert into Top_movie250(
        movie_link, img_link, chinese_name, other_name, rating, rating_people, quote, background
        ) values (%s)
        ''' % ','.join(data)

        c.execute(sql)
        conn.commit()

    conn.commit()
    conn.close()


# 创建数据库中的表格
def create_table(para_dbpath):
    # 检测数据库文件是否存在
    if para_dbpath in os.listdir():
        return print('该数据库文件已存在!')

    conn = sqlite3.connect(para_dbpath)  # 连接
    c = conn.cursor()  # 游标

    # sql语句
    sql = '''
    create table Top_movie250(
    id integer primary key autoincrement not null,
    movie_link text,
    img_link text,
    chinese_name text,
    other_name text,
    rating numeric,
    rating_people text,
    quote text,
    background text
    )
    '''

    c.execute(sql)

    conn.commit()  # 提交
    conn.close()  # 关闭


# 代理函数
def proxy(para_url):
    property_support = urllib.request.ProxyHandler({'http': '125.73.220.18:49128'})
    opener = urllib.request.build_opener(property_support)
    opener.addheaders = [('User-Agent','Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/89.0.4389.82Safari/537.36')]
    urllib.request.install_opener(opener)
    html = ask_url(para_url, head_package)
    return html

# 爬取数据并保存在 excel中
natural_url = 'http://movie.douban.com/top250?start=0&filter='
douban_dataList = get_data(natural_url, head_package)
# save_data(douban_dataList, save_path)


# 创建 db文件并创建数据库中的表格
create_table(dbpath)

# 存数据到数据库中
save_database(douban_dataList, dbpath)

 结果：

 

 

存在的bug：

①多次运行会多次插入250条数据，不会重新覆盖

②要重新覆盖必须直接删除movieTop.db数据库文件，不能直接删表。将代码中第179-181行删掉可以实现：只删除表格不删db文件即可重新执行