数据采集实验二

作业①:中国气象网 7 日天气预报

1、中国气象网 7 日天气预报实验

1)页面分析

中国气象网的 7 日天气预报页面地址格式为:
http://www.weather.com.cn/weather/城市编码.shtml

例如北京的页面是:
http://www.weather.com.cn/weather/101010100.shtml

在浏览器中按 F12 打开开发者工具,使用元素选择器查看页面结构,可以发现 7 日预报都放在 ul.t.clearfix 下的 li 标签中:
h1:日期和星期,例如“19日(今天)”
p.wea:天气现象,例如“晴”“多云”
p.tem:最高温和最低温
p.win:风向和风力

1

2)代码:

https://github.com/lch102402105/digital

3)结果:

image
完整表:https://github.com/lch102402105/digital

2、心得体会

本次实验让我完整走了一遍“请求网页—解析 HTML—数据入库”的流程。刚开始我认为只要把网页请求下来就能直接找到数据,实际动手后才发现,必须先分析页面的 DOM 结构,找到稳定的 CSS 选择器,程序才能准确提取字段
在编写解析代码时,我遇到了两个比较典型的问题。第一是网页响应头中的编码可能不是 UTF-8,如果直接使用 response.text,中文会变成乱码,因此需要显式设置 response.encoding = "utf-8"。第二是 7 日预报的日期只有“19日”这样的日号,没有完整年份和月份,如果遇到跨月就会出错。为此我编写了 resolve_forecast_date(),从今天开始向后寻找日号相同的日期,从而正确处理跨月情况
数据库部分让我理解了“唯一键”和“更新插入”的作用。如果每次运行都直接 INSERT,同一城市同一天会产生大量重复记录;使用 UNIQUE(city_id, forecast_date) 配合 ON CONFLICT DO UPDATE 后,重复运行只会刷新数据,不会破坏表结构
另外,我也体会到爬虫要遵守基本的访问礼仪:设置合理的 User-Agent、控制请求间隔、不要高频访问同一个站点。这样既能降低被封禁的概率,也能减轻服务器压力

作业②:股票行情数据定向爬取

1、股票行情定向爬取实验

1)页面分析

返回数据是 JSON
常用 f 字段含义:
f2最新价
f3涨跌幅
f4涨跌额
f5成交量(手)
f6成交额(元)
f7振幅
f8换手率
f9动态市盈率
f10量比
f12股票代码
f13市场标志
f14股票名称
f15最高价
f16最低价
f17今开
f18昨收
f20总市值
f21流通市值
f23市净率
程序使用 json.loads() 解析返回文本,再根据 data.diff 遍历股票列表。通过修改 pn 实现翻页,直到达到指定页数或全部抓取完成
为了避免单一接口不可用导致程序无法运行,代码中增加了新浪股票接口作为备用数据源:
https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData

2

2)代码:

https://github.com/lch102402105/digital

3)结果:

image
完整表:https://github.com/lch102402105/digital

2、心得体会

这次实验让我第一次真正理解了“网页是网页,接口是接口”。一开始我尝试直接解析东方财富的网页 HTML,但股票列表是异步加载的,HTML 中并没有完整的股票数据。通过 F12 的 Network 面板,我才发现浏览器真正请求的是一个返回 JSON 的 API
分析 API 的过程比想象中更重要。URL 中的 pn、pz 控制分页,fid=f3 控制排序,fields 决定返回哪些字段。把 fields 中不需要的字段删掉后,返回的数据量明显变小,程序也更清晰。这让我意识到,爬虫不是“把整个网页搬下来”,而是要根据需求精确地选择接口和字段
在代码实现上,我重点处理了三个问题:

  1. 分页:通过 pn 递增抓取多页,并设置 time.sleep() 控制请求频率
  2. 异常值:停牌股票的字段可能是 "-",不能直接 float(),因此编写了 to_float() 做安全转换
  3. 接口备用:东方财富接口在当前网络不可用时,程序自动切换到新浪接口,避免整个实验因为一个接口失败而无法完成
    数据库设计方面,我使用股票代码 code 作为主键,配合 ON CONFLICT 更新数据。这样反复运行程序时,同一只股票不会重复出现,而是更新最新行情
    通过这次实验,我也认识到爬虫代码要具备一定的健壮性:不能假设接口永远可用,也不能假设字段永远是数字。加上重试、超时、异常捕获和备用数据源后,程序才更接近一个真正可用的数据采集工具

作业③:软科中国大学 2021 主榜爬取

1、软科中国大学 2021 主榜爬取实验

1)页面分析

找到名称为 bcur 的请求,查看其 Request URL
在 Preview / Response 面板中确认返回的是 JSON 数据
最终得到的接口是:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021
参数含义:
bcur_type=11:主榜
year=2021:2021 年
返回的 JSON 结构可以简化为:
json
程序使用 json.loads() 解析返回文本,然后遍历 data.rankings,将每条记录转换为数据库字段名次字段在接口中叫 ranking,不是 rank
3

2)代码:

https://github.com/lch102402105/digital

3)结果:

image

完整表:https://github.com/lch102402105/digital

2、心得体会

软科这个实验让我对“动态网页”有了更直观的认识。页面上的排名表格看起来是普通 HTML,但实际上数据是通过 JavaScript 请求接口后动态渲染的,直接请求页面 HTML 并不能拿到完整的院校列表。只有打开 F12 的 Network 面板,才能看到真正返回数据的 bcur 接口
抓包过程中,我学会了几个实用技巧:先清空 Network 面板,再刷新页面,这样请求列表更干净;使用 Fetch/XHR 过滤掉图片、CSS 等无关请求;点击请求后查看 Preview 和 Response,确认返回结构;最后把 Request URL 复制出来,在浏览器新标签页中直接访问,验证接口是否可以独立使用
这次实验让我体会到,爬虫的核心并不只是“写请求”,更重要的是分析数据来源、理解接口参数、确认 JSON 结构,并把异常情况考虑进去。F12 开发者工具是一个非常强大的分析工具,熟练使用它可以大大提高爬虫的效率和成功率

posted @ 2026-11-19 18:03  麓川茴  阅读(5)  评论(0)    收藏  举报