爬虫实战 - 利用百度百科爬取运动员的信息(setting.py)

setting.py (用于定义各种变量)

from bs4 import BeautifulSoup
import urllib.request
import urllib.parse
import sqlite3
import func
import time
import re
import os

# =============================== headers数据包 ===============================
head_package = {}
head_package['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'


# =============================== 需要爬取的文件名 ===============================
file_name = 'athlete4.txt'


# =============================== 正则表达式 ===============================
re_link = re.compile(r'<a href="(.*?)"')  # 网页

re_name1 = re.compile(r'<h1>(.+)</h1>')  # 姓名与姓名后的超简介
re_name2 = re.compile(r'<h2>(.+)</h2>')

# 查找网页文本
re_summary = re.compile(r'<.*?>')
re_remove = re.compile(r'\[\d\]|\[|\]|\n\b')

# 查找类与姓名
re_txtFind_class = re.compile(r'class=(.+)\n')
re_txtFind_name = re.compile(r'name=(.+)\n')

re_summary_img = re.compile(r'<img src="(.+?)"')  # 查找图片链接


# =============================== sql语句 ===============================
sql_createTable = '''
create table if not exists athlete_info(
id integer primary key autoincrement not null,
name1 text,
name2 text,
instruction text,
baike_url text,
img_url text
)
'''