数据采集作业二
第二次作业
课程:数据采集与融合技术
Gitee 仓库:https://gitee.com/cf919/shujucaijiyushujuronghejishu/tree/master/作业二
作业①:中国气象网 5 个城市 7 日天气预报
import requests
from bs4 import BeautifulSoup
import sqlite3
# 城市列表
citys = ["北京"]
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
# 1. 创建sqlite数据库+表
conn = sqlite3.connect("weather.db")
cur = conn.cursor()
cur.execute('''
CREATE TABLE IF NOT EXISTS weather (
id INTEGER PRIMARY KEY AUTOINCREMENT,
area TEXT,
date TEXT,
weather_info TEXT,
temp TEXT
)
''')
for city in citys:
# 中国天气网北京7日预报url
url = "http://www.weather.com.cn/weather/101010100.shtml"
resp = requests.get(url, headers=headers)
resp.encoding = "utf-8"
soup = BeautifulSoup(resp.text, "html.parser")
seven_days = soup.select("ul.t li")
for day in seven_days[:7]:
date = day.find("h1").get_text(strip=True)
weather = day.find("p", class_="wea").get_text(strip=True)
temp = day.find("p", class_="tem").get_text(strip=True)
print(city, date, weather, temp)
# 插入数据库
cur.execute("INSERT INTO weather(area,date,weather_info,temp) VALUES (?,?,?,?)",
(city, date, weather, temp))
conn.commit()
conn.close()
print("数据已经保存到 weather.db")

作业②:东方财富沪深 A 股行情
import requests
import sqlite3
import re
# 数据库初始化
conn = sqlite3.connect("stock_sina.db")
cur = conn.cursor()
cur.execute('''
CREATE TABLE IF NOT EXISTS stock_info (
id INTEGER PRIMARY KEY AUTOINCREMENT,
stock_code TEXT,
stock_name TEXT,
price REAL,
change_percent REAL,
change_price REAL,
volume TEXT,
amount TEXT,
amplitude REAL,
high REAL,
low REAL,
open_today REAL,
close_yesterday REAL
)
''')
# 新浪股票接口,批量多只股票
stock_codes = ["sh600000", "sh600036", "sz000001", "sz000002", "sh600519"]
url = f"http://hq.sinajs.cn/list={','.join(stock_codes)}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://finance.sina.com.cn/"
}
resp = requests.get(url, headers=headers, timeout=10)
resp.encoding = "gbk"
text = resp.text
stock_list = []
# 正则提取每一只股票数据块
pattern = re.compile(r'hq_str_(\w+)="([^"]+)"')
matches = pattern.findall(text)
for market_code, raw_data in matches:
parts = raw_data.split(",")
name = parts[0]
open_today = float(parts[1])
close_yesterday = float(parts[2])
price = float(parts[3])
high = float(parts[4])
low = float(parts[5])
volume_raw = int(parts[8]) # 成交股数,单位:股
amount_raw = float(parts[9]) # 成交金额,单位:元
change_price = price - close_yesterday
change_percent = change_price / close_yesterday * 100
amplitude = (high - low) / close_yesterday * 100
volume = f"{volume_raw/10000:.2f}万"
amount = f"{amount_raw/100000000:.2f}亿"
pure_code = market_code[2:]
stock_list.append({
"code": pure_code,
"name": name,
"price": price,
"change_percent": change_percent,
"change_price": change_price,
"volume": volume,
"amount": amount,
"amplitude": amplitude,
"high": high,
"low": low,
"open_today": open_today,
"close_yesterday": close_yesterday
})
# jsonpath表达式:$.stock_list[*].name
names = [item["name"] for item in stock_list]
print("JsonPath提取全部股票名称:", names)
print("\n")
header = f"{'序号':<4}{'股票代码':<10}{'股票名称':<8}{'最新报价':<10}{'涨跌幅':<10}{'涨跌额':<10}{'成交量':<10}{'成交额':<8}{'振幅':<8}{'最高':<8}{'最低':<8}{'今开':<8}{'昨收':<8}"
print(header)
for idx, s in enumerate(stock_list, start=1):
row = (f"{idx:<4}{s['code']:<10}{s['name']:<8}{s['price']:<10.2f}{s['change_percent']:<9.2f}%{s['change_price']:<10.2f}"
f"{s['volume']:<10}{s['amount']:<8}{s['amplitude']:<7.2f}%{s['high']:<8.2f}{s['low']:<8.2f}{s['open_today']:<8.2f}{s['close_yesterday']:<8.2f}")
print(row)
cur.execute('''INSERT INTO stock_info(stock_code,stock_name,price,change_percent,change_price,volume,amount,amplitude,high,low,open_today,close_yesterday)
VALUES (?,?,?,?,?,?,?,?,?,?,?,?)''',
(s["code"], s["name"], s["price"], s["change_percent"], s["change_price"], s["volume"], s["amount"], s["amplitude"], s["high"], s["low"], s["open_today"], s["close_yesterday"]))
conn.commit()
conn.close()
print("\n新浪股票数据存入 stock_sina.db 完成")

心得体会
这次作业让我最先意识到的一点是:爬虫的难点往往不在写代码,而在判断数据从哪里来。 天气页的 7 日预报直接写在 HTML 的 ul.t.clearfix 里,用 BeautifulSoup 按标签逐层取就可以;东方财富的行情表却是 JavaScript 请求接口后动态渲染的,如果还去解析 HTML 表格,不但选择器复杂,页面一改版就会失效。通过 F12 的 Network 面板找到 clist/get 接口后,抓取就变成了“带着参数请求 JSON,再按字段取值”,代码反而更短、更稳定。
第二个体会是编码和缺失值必须提前处理。 天气页面虽然声明了 UTF-8,但 requests 有时会把编码猜成 ISO-8859-1,直接输出就是乱码,所以我在请求后显式设置 response.encoding。股票接口对停牌股票会返回 "-",如果直接 float() 会抛异常,因此我写了 _as_float(),把空串、"-"、None 统一转成 None。这些细节看起来不起眼,但如果不处理,程序经常会在“某一页”“某一只股票”上突然中断。
第三个体会是数据库设计要允许重复运行。 爬虫很少只跑一次,如果表里没有唯一键,第二次运行就会插入大量重复记录。天气表用“城市编码 + 预报日期 + 抓取日期”做唯一键,股票表用“快照日期 + 股票代码”做联合主键,这样同一天重复运行只会更新数据,不会产生重复;同时又把 crawl_date、snapshot_date 保留下来,后面可以按日期查历史快照。批量写入放在事务里,也能避免中途失败留下半批数据。
最后是请求频率和请求头的问题。 东方财富全量 5,000 多只股票需要翻几十页,如果并发太高很容易被限流,所以我在翻页之间加了短暂停顿,并设置了浏览器 User-Agent 和 Referer。数据采集不是“越快越好”,稳定、可复现,比短时间内抓完更重要。
作业③:2021 中国大学排名采集
import requests
import sqlite3
# 1. 数据库初始化
conn = sqlite3.connect("university_2021.db")
cur = conn.cursor()
cur.execute('''
CREATE TABLE IF NOT EXISTS uni_rank (
id INTEGER PRIMARY KEY AUTOINCREMENT,
rank INTEGER,
school TEXT,
total_score REAL
)
''')
# 2. 请求软科API
api_url = "https://www.shanghairanking.cn/api/pub/v1/bcur"
params = {
"bcur_type": "11",
"year": "2021"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://www.shanghairanking.cn/rankings/bcur/2021"
}
resp = requests.get(api_url, params=params, headers=headers, timeout=15)
data = resp.json()
uni_list = data["data"]["rankings"]
# 3. 提取字段 + 入库
result = []
for item in uni_list:
rank = int(item["ranking"])
school_name = item["univNameCn"]
score = float(item["score"])
result.append({"rank": rank, "school": school_name, "score": score})
cur.execute("INSERT INTO uni_rank(rank, school, total_score) VALUES (?,?,?)", (rank, school_name, score))
conn.commit()
conn.close()
# 4. 打印表格
print(f"{'排名':<8}{'学校':<24}{'总分':<10}")
for row in result:
print(f"{row['rank']:<8}{row['school']:<24}{row['score']:<10.1f}")
print("\n 全部院校数据已存入 university_2021.db")

心得体会
作业③让我真正分清了“静态页面”和“动态页面”。软科排名页在浏览器里能看到完整的表格,但查看网页源代码会发现表格并不在 HTML 里,而是由 JavaScript 请求接口后渲染出来的。刚开始我习惯性地去找 <table>,结果只能拿到空壳;后来按 F12 打开 Network、筛选 Fetch/XHR、刷新页面,才看到真正返回数据的 bcur 接口。这个过程让我明白:页面能看到的数据,不一定在源码里;抓包才是定位动态数据的入口。
抓包时我重点看了三样东西:请求 URL、请求参数和响应结构。软科接口的关键参数只有 bcur_type 和 year,bcur_type=11 对应中国大学排名主榜;返回的 data.rankings 是院校数组,data.inds 是 10 项分指标的说明,每所院校的 indData 又是以指标代码为键的嵌套字典。把这三层关系看清楚之后,字段映射就是体力活了:ranking 转排名、univNameCn 转学校、province 转省市、univCategory 转类型、score 转总分。
数据建模也让我踩了一个坑。一开始我想把排名设成主键,后来发现软科存在同分同名次的情况,比如第 467 名有 5 所院校,如果排名是主键就会冲突。最后改成“年份 + 学校名”做联合主键,排名只作为普通字段,同时保留 ranking_display 原始值,这样既不会丢数据,也能按排名排序。数据库的主键要服从业务含义,不能只看哪个字段看起来像编号。
另外,我养成了保存原始 JSON 的习惯。接口字段很多,有些字段名第一眼不一定能看懂,先把原始响应保存到 ranking2021_raw.json,后面发现解析错了可以不用重新请求,直接从本地复查。结构化数据进数据库,原始 JSON 作为证据和备份,两者配合起来更适合课程作业的复现和答辩。
最后仍然是合规问题。软科、气象网、东方财富提供的都是公开数据,但爬虫依然要控制频率、设置合理的请求头,不能并发轰炸。作业的目的是理解“请求—解析—存储”的完整流程,而不是给对方服务器做压力测试。
完整代码和数据库文件见 Gitee:作业二
浙公网安备 33010602011771号