数据采集第一次作业
Python网络爬虫实验作业博客
一、作业①:定向爬取大学排名信息
1.1 作业代码与运行结果
代码实现:
# -*- coding: utf-8 -*-
"""
作业①:使用requests和BeautifulSoup定向爬取上海软科大学排名数据
目标网址:http://www.shanghairanking.cn/rankings/bcur/2020
"""
import requests
from bs4 import BeautifulSoup
def get_html(url):
"""
获取网页HTML内容
:param url: 目标网址
:return: 网页文本内容
"""
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/120.0.0.0 Safari/537.36'
}
try:
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status()
response.encoding = response.apparent_encoding
return response.text
except requests.RequestException as e:
print(f"网页获取失败:{e}")
return None
def parse_html(html):
"""
解析HTML,提取大学排名信息
:param html: 网页文本
:return: 排名信息列表
"""
soup = BeautifulSoup(html, 'html.parser')
# 定位排名表格主体
table = soup.find('table', class_='rk-table')
if not table:
print("未找到排名表格")
return []
results = []
# 遍历表格的每一行(跳过表头)
rows = table.find('tbody').find_all('tr')
for row in rows:
cols = row.find_all('td')
if len(cols) < 5:
continue
# 排名
rank = cols[0].get_text(strip=True)
# 学校名称
school = cols[1].get_text(strip=True)
# 省市
province = cols[2].get_text(strip=True)
# 学校类型
school_type = cols[3].get_text(strip=True)
# 总分
score = cols[4].get_text(strip=True)
results.append({
'rank': rank,
'school': school,
'province': province,
'type': school_type,
'score': score
})
return results
def print_result(results):
"""
格式化打印爬取结果
:param results: 排名信息列表
"""
print(f"{'排名':<6}{'学校名称':<20}{'省市':<10}{'学校类型':<10}{'总分':<10}")
print("-" * 60)
for item in results:
print(f"{item['rank']:<6}{item['school']:<20}"
f"{item['province']:<10}{item['type']:<10}{item['score']:<10}")
def main():
"""主函数:调度爬虫流程"""
url = 'http://www.shanghairanking.cn/rankings/bcur/2020'
html = get_html(url)
if html:
results = parse_html(html)
print_result(results)
if __name__ == '__main__':
main()
运行结果截图:
1.2 作业心得
爬取软科排名时,一开始直接使用 requests.get() 拿页面,结果解析不出任何表格数据,原因是没带 User-Agent,被服务器当成脚本拦截了,加上请求头后才正常返回。拿到 HTML 后又卡在定位表格上,find('table') 取到的内容是空的。对照开发者工具才发现表头和数据行结构是分离的,单元格里还嵌套了 a 标签和 span 标签。试了几次选择器失败后,改成先定位 class='rk-table' 的表格,再从 tbody 逐行取 td 按索引取值,五列数据才正确提取出来。
最大的体会是:动手前先用开发者工具把页面结构看清楚,凭感觉写选择器只会反复失败;另外加上 timeout 和 try-except 后,请求出错程序不会直接崩掉,健壮性明显提升。
二、作业②:商城商品比价定向爬虫
2.1 作业代码与运行结果
代码实现(以当当网搜索页为例):
# -*- coding: utf-8 -*-
"""
work1_task2:用 requests 和 re 爬取当当网"书包"搜索结果
爬取内容:商品名称、商品价格
输出格式:序号 价格 商品名
"""
import re
import requests
def fetch_page(keyword, page_index=1):
# 当当网搜索 URL
url = "http://search.dangdang.com/"
# 请求参数
params = {
"key": keyword,
"act": "input",
"page": page_index
}
# 请求头:模拟浏览器,避免被识别为爬虫
headers = {
"User-Agent": (
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0.0.0 Safari/537.36"
),
"Referer": "https://www.dangdang.com/",
"Accept-Language": "zh-CN,zh;q=0.9",
}
# 发送 GET 请求
resp = requests.get(url, params=params, headers=headers, timeout=15)
# 当当网页面编码为 gbk,需手动指定
resp.encoding = "gbk"
return resp.text
def parse_products(html):
# 匹配每个商品区块:li 标签且带有 ddt-pit 属性
item_blocks = re.findall(
r'<li[^>]*\bddt-pit="\d+"[^>]*>(.*?)</li>',
html,
re.S
)
products = []
for block in item_blocks:
# 商品名称
name_match = re.search(
r'name="title"[^>]*>\s*<a[^>]*title="([^"]+)"',
block,
re.S
)
# 商品价格
price_match = re.search(
r'<span class="price_n">[^0-9]*([0-9]+(?:\.[0-9]+)?)</span>',
block,
re.S
)
if name_match and price_match:
name = name_match.group(1).strip()
price = price_match.group(1).strip()
products.append((price, name))
return products
def print_table(products, top_n=20):
# 按"序号 价格 商品名"格式打印结果
print(f"{'序号':<6}{'价格':<10}{'商品名'}")
print("-" * 70)
for i, (price, name) in enumerate(products[:top_n], 1):
# 商品名太长时截断,保持表格整齐
short_name = name if len(name) <= 40 else name[:40] + "..."
print(f"{i:<6}{price:<10}{short_name}")
print("-" * 70)
print(f"共抓取到 {len(products)} 件相关商品"
f"(仅显示前 {min(top_n, len(products))} 件)。")
def main():
keyword = "书包"
# 1. 请求页面
html = fetch_page(keyword)
# 调试信息:HTML 长度
print(f"页面 HTML 长度:{len(html)}\n")
# 2. 正则解析商品
products = parse_products(html)
if not products:
print("未匹配到任何商品,可能是页面结构变化或被反爬拦截。")
print("HTML 前 300 字符:", html[:300])
return
# 3. 打印结果
print_table(products)
if __name__ == "__main__":
main()
运行结果截图:
2.2 作业心得
起初选用的商城页面为动态渲染,直接请求获取的源码中不含商品数据,无法正则匹配,于是改用商品信息直接写在源码中的当当网。
换站后遇到两个问题:一是页面编码为 GBK,如果不设置响应编码,中文商品名会出现乱码,手动指定编码后解决;二是商品列表项标签嵌套较深,用常规闭合标签截断易出错,改以商品的特定属性定位区块,才准确提取名称与价格。
体会是:爬取前应先确认目标页面是静态还是动态渲染;正则适合提取静态页面中的结构化字段,但页面改版后规则易失效,实际项目中使用 BeautifulSoup 或 lxml 配合 CSS 选择器更稳定。
三、作业③:网页图片批量爬取与保存
3.1 作业代码与运行结果
代码实现:
# -*- coding: utf-8 -*-
"""
work1_task3:爬取指定网页中所有 JPEG/JPG/PNG 格式图片并保存到本地文件夹
爬取网址:https://news.fzu.edu.cn/yxfd.htm
"""
import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
def download_images(url, save_dir='images'):
"""
爬取指定网页内的所有 JPEG/JPG/PNG 图片并保存到本地
参数:
url: 目标网页地址
save_dir: 图片保存目录
"""
# 如果保存目录不存在则创建
if not os.path.exists(save_dir):
os.makedirs(save_dir)
headers = {
'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/120.0.0.0 Safari/537.36')
}
# 请求网页
response = requests.get(url, headers=headers, timeout=10)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')
# 找出所有 img 标签
img_tags = soup.find_all('img')
count = 0 # 成功下载计数
for img in img_tags:
# 获取图片地址
img_url = img.get('src') or img.get('data-src')
if not img_url:
continue
# 拼接为绝对 URL
img_url = urljoin(url, img_url)
# 判断是否为 JPEG/JPG/PNG 格式
if not img_url.lower().split('?')[0].endswith(('.jpg', '.jpeg', '.png')):
continue
try:
img_data = requests.get(img_url, headers=headers, timeout=10).content
# 生成文件名,避免重名
filename = os.path.join(save_dir, f'img_{count:03d}'
+ os.path.splitext(img_url)[1].split('?')[0])
with open(filename, 'wb') as f:
f.write(img_data)
print(f'已保存:{filename}')
count += 1
except Exception as e:
print(f'下载失败 {img_url}:{e}')
print(f'\n共成功下载 {count} 张图片,保存在 {save_dir}/ 目录下。')
if __name__ == '__main__':
target_url = 'https://news.fzu.edu.cn/yxfd.htm'
download_images(target_url, save_dir='fzu_images')
运行结果截图:

3.2 作业心得
本作业综合运用了 requests 下载 + BeautifulSoup 解析 + os 文件操作。与作业①、②不同,这里我用 BeautifulSoup 遍历所有 <img> 标签,比正则更稳健地提取 src 和 data-src 属性(兼容懒加载图片)。
关键点有三:一是用 urljoin 处理相对路径(如 /__local/xxx.jpg)补全为绝对 URL,避免下载失败;二是用 img_url.lower().split('?')[0].endswith(('.jpg', '.jpeg', '.png')) 判断格式,先去掉查询参数再判断后缀,防止 xxx.jpg?v=1 这类链接被漏掉;三是用 resp.content 以二进制模式写入文件,保证图片不被破坏。
实践中发现新闻网图片多为相对路径,且部分图片带有 data-src 属性(懒加载),因此代码中做了 img.get('src') or img.get('data-src') 的兼容处理。文件名采用 img_{count:03d} 三位补零命名,既避免重名覆盖,又便于排序查看。通过本作业我掌握了“提取链接→补全 URL→格式过滤→批量下载→落盘保存”的完整图片爬取闭环,也体会到 os.makedirs 目录判断与异常处理对脚本稳定性的重要性。



浙公网安备 33010602011771号