闽茶产业多源异构数据融合与市场风险预警平台:多模态数据采集、标注与消融实验
项目:闽茶产业多源异构数据融合与市场风险预警平台
组名:法则克兰
组长:邱福铭 102402132
组员:谭段昊 102402133、王世豪 102402134、黄俊翔 102402125、陈封 102402119
本文分工:C 部分——S4 电商图文与 S7 短视频采集、商品主图标注、ResNet 图像分类与 BERT 事件/情感模型、多模态特征表、预测与异常检测及消融实验
日期:2026-11-06
本文先交代结论:C 部分的数据管线、标注体系、图像与文本模型、图文消融实验均已跑通并留下可复现产物,但开题设定的量化指标仍有多项未达成。下面按"数据接入—回测设定—特征增益—标注—模型—融合—未达成项—建议"的顺序,说明我负责的这一段做了什么、哪些判断被数据推翻、以及卡点具体在哪里。
C 部分的工作可概括为四项:接入并清洗电商主图、天气、新闻、地图四路数据;对图文与新闻建立标注;训练图像与文本两个模型;检验这些模态接入价格模型后是否带来增益。
一、八个来源的口径对齐
全组共八个数据来源,我负责其中四个:电商图文(S4)、天气(S5)、新闻(S6)、地图 POI(S8);协会月报(S1)、采摘记录(S2)、产地与零售报价(S3)由 A、B 两位同学交付。
清洗入库后的规模为:S1 六十六个月(2021-04 至 2026-09)、S2 四十三条、S3 七百九十七条、S4 八百六十五个候选商品(三百二十张可用主图)、S5 三千六百九十七个站点日、S6 一千四百五十二条去重新闻、S8 一千二百六十六个 POI。
这一规模并不算大,真正占用时间的是三处口径问题。
第一处:同名不同物。 同样是"大红袍价格",协会月报给出的是安溪毛茶月度均价(元/斤),电商给出的是礼盒装到手价(元/盒)。二者不仅单位不同,中间还隔着毛茶、精制茶、礼盒装三个环节,量级差异明显。最初我直接把两类价格合并求均值,结果明显不可用。此后改为分层存储、不做合并:产地价、批发价、零售价各成一张表,建模时分别取用。
第二处:名义日频、实际稀疏。 B 交付的采摘记录合并后只有四十三条、二十九个不同日期,且集中在每年春季。若按日频建模,等于要求模型解释其余三百余天的空白。处理方式是把该来源降级为"春茶季标记",明确其不是日频序列。
第三处:天气缺测不得补零。 三千六百九十七个站点日聚合为一百二十六个地区月。安溪所用站点距茶园六十五公里,武夷山站距一百二十五公里,这一空间误差本身需要写入限制条件。聚合规则上,一个月内至少八成日历日有观测才输出月值,缺测降水不补零:补零会把"未观测"变成"未降水",干旱年份的降水缺口会被抹平,模型学到的是错误信息。
这三处问题都不涉及算法,但任何一处处理不当都会使后续结论失效。数据工作中大部分精力实际消耗在这里。
二、回测设定与时间泄漏
价格预测最容易出现的错误,是用"当月的新闻"预测"当月的价格",即前视偏差(look-ahead bias)。这样模型在训练阶段已接触到答案,报出的分数必然偏高。
我们的做法是给每个特征记录"可获知日期"(available_date),回测时只允许使用目标月月初之前已公开的数据。该规则执行后,可用样本明显减少:
- 六十六个月的协会指数中,有七个月是按年同比回溯补算的,没有原始发布日期,无法进入严格回测;
- 新闻中有十四条的日期并非发布日期("2026 年 1-8 月"是统计期间),统一置空;
- 最终仅保留 四十个共同回测月(2023-06 至 2026-09)。
四十个月样本量偏小,但它是可核验的部分。严格轨只使用价格自身信息,结果如下:
| 模型 | MAE(元/斤) | MAPE |
|---|---|---|
| 季节朴素(去年同月) | 4.41 | 6.98% |
| 岭回归·基础(滞后项 + 季节项) | 10.22 | 15.24% |
| 上期值 | 32.92 | 49.02% |

最重要的发现是:表现最好的基线不是模型,而是"去年同月"。 闽茶价格由春茶、秋茶两个峰主导,季节朴素已吸收了主要季节结构;在"月度粒度 + 四十个样本"的设定下,任何以月度聚合特征做回归的模型都难以超越它。这不说明模型无效,而说明有效信息主要存在于季节项中。
三、加入天气与新闻后误差反而上升
这一节记录的是负结果。
我们另设一条回顾性轨(放宽为"外部特征的发布日期不核验"),分别加入天气与新闻特征:
| 加入的特征 | MAE | MAPE |
|---|---|---|
| 岭回归·基础 | 10.22 | 15.24% |
| + 天气 | 13.20 | 19.55% |
| + 规则标签新闻 | 11.54 | 17.31% |
| + 已判读新闻(1452 条) | 11.90 | 18.30% |
| + 天气 + 新闻 | 15.82 | 23.84% |

特征加得越多,误差越大。最初的判断是"文本与天气没有用",但在展开月度特征后发现更直接的原因:回测窗内平均每月只有六条左右的已判读新闻。以六条新闻的月均值解释一个月内数十元的价差,噪声必然大于信号。
为此补做了两组实验:把新闻标注从 300 条扩到 584 条、再扩到 1452 条,月均新闻从 3.5 条提升到 6.1 条,含新闻的岭回归 MAE 从 14.04 降至 11.90。方向正确,但仍未超过"只用价格自身"的 10.22。要得到可用的结论,需要每月有 8 至 10 条可用新闻,这属于标注量与新闻源覆盖的问题,不是模型选择的问题。
四、标注:人工与 AI 两条通道分离
监督学习首先需要标签。项目初期为节省时间,采用关键词规则生成标签,事后证明代价较大。
以最早判读的三百条新闻为对照:关键词规则与逐条阅读判读的一致率仅 15.67%(47 条)。原因很直接:规则命中"大红袍"即判为产销价格,而该条实为花椒商品广告。此类标签作为训练目标会引入系统性错误。
因此后续改为两条通道,并在数据表中分别标注:
- 人工复核(reviewed):由人工逐条判定;
- AI 辅助(ai_assisted):由模型辅助逐条阅读、逐图判读,标注人记为
AI-text-assist/AI-vision-assist; - 规则标签仅作对照与降级备份,不参与训练。
最终商品侧为 120 条人工 + 203 条 AI 判读,新闻侧为 40 条人工 + 1412 条 AI 判读。
关键在于抽检:AI 判读不能自证正确,需要盲标比对——页面不显示 AI 结论,由人独立判定后计算一致率与 Cohen's κ。商品侧共做三轮(30 + 30 + 60 条),新闻侧 40 条:
| 批次 | 字段 | 一致率 | κ |
|---|---|---|---|
| 商品第 1 轮(30 条) | 相关性 / 品类 / 包装 | 0.93 / 0.60 / 0.67 | 0.79 / 0.47 / 0.57 |
| 商品第 2 轮(30 条) | 品类 / 包装 | 0.90 / 1.00 | 0.85 / 1.00 |
| 商品第 3 轮(60 条) | 相关性 / 品类 / 包装 / 产地 | 1.00 / 0.83 / 0.73 / 0.78 | 1.00 / 0.77 / 0.62 / 0.67 |
| 新闻(40 条) | 事件 / 情感 / 产区 | 0.60 / 0.60 / 0.95 | 0.53 / 0.45 / 0.65 |

第三轮暴露了三处口径问题:
- "袋装"与"礼盒"的边界。 有六条我判为袋装、人工判为礼盒——我依据主容器,人工依据外层礼盒或礼袋。现已固定规则:按消费者拿到手的外层形态判定。
- "混装"类别使用过宽。 十四条中仅八条一致,其余被人工判为岩茶、其他茶或铁观音。缺少硬性标准的多类别标签容易被过度使用,新闻侧"混合情感"存在同样问题。
- 产地字段的 unknown 被当作兜底值。 我判为 unknown 的七条,人工均给出了明确产区。现行规则是:写了福建但未写县市记"其他产区",只有文本确实未提产地时才记 unknown。
将上述三条纠正后重训图像模型,测试准确率由 0.713 变为 0.707。差异虽小,但说明原数值中约有 0.6 个百分点来自标签噪声。
五、模型:先探针、后微调,其中两次判断被数据推翻
模型策略是先低成本、后高成本:先用冻结的预训练特征加逻辑回归做探针,确认该路径是否包含信息量,再决定是否微调。
图像侧。 探针(ResNet18 冻结特征 + 逻辑回归)在包装四分类上,验证准确率 0.672、测试准确率 0.660。此后解冻 layer4 与分类头做微调,训练三十轮、三颗随机种子,测试结果为 0.707 ± 0.025 / macro-F1 0.688 ± 0.019(314 行,训练 206 / 验证 58 / 测试 50)。优于探针,但距开题设定的 0.85 仍有差距。
文本侧的过程更曲折。 在三百条标注下,BERT 微调的事件分类测试 macro-F1 为 0.545,低于冻结特征探针的 0.608,我的初步结论是"微调不划算"。
该判断属于典型的误判:三颗种子、六轮训练后,验证曲线仍在上升,说明模型尚未收敛。将标注扩充至 1452 条(训练 1034 条)重跑后,结论发生变化:
| 结构 | 事件 macro-F1 | 情感 macro-F1 |
|---|---|---|
| 冻结特征 + 逻辑回归(探针) | 0.608 | 0.635 |
| BERT 微调(300 条标注) | 0.545 ± 0.083 | 0.454 ± 0.065 |
| BERT 微调(1452 条标注) | 0.608 ± 0.018 | 0.807 ± 0.012 |
情感任务由 0.454 提升至 0.807,超过探针;事件任务持平(0.608 对 0.608),准确率仍略低(0.625 对 0.654)。同一份代码、同一套划分、同一学习率,唯一变化是标注量,因此先前"微调不可行"的结论应修正为样本不足。
两次误判的教训是:判断一个模型是否可行之前,先确认验证曲线已走平;此外,单颗种子的结果比训练轮次更容易造成误判。
六、图文模态的融合效果
开题要求"多模态融合增益 ≥10%",这一部分必须实测。做法是:取同一批已标注商品(316 行),按分组划分做四折交叉验证,三个变体共用同一分类器——
| 目标任务 | 只用图像 | 只用标题 | 图像 + 标题 |
|---|---|---|---|
| 包装四分类(macro-F1) | 0.670 ± 0.035 | 0.641 ± 0.129 | 0.714 ± 0.109 |
| 品类四分类(macro-F1) | 0.452 ± 0.064 | 0.831 ± 0.048 | 0.807 ± 0.063 |
包装任务上两种模态确实互补:单图 0.670,融合 0.714,提升 0.044。品类任务上仅用标题即达 0.831,加入图像后降至 0.807。
对此的解释是两个模态各自承担不同任务:包装(礼盒/罐/袋/散)主要依赖图像,标题亦常写明"礼盒装""袋装";品类(铁观音/岩茶/其他茶/混装)主要依赖标题中的品种词,图像反而可能干扰。因此"融合有增益"只能限定在包装任务、当前样本量与已复核标签三个前提下,不能推广为"多模态必然更好"。
需要说明的是,三颗种子与四折结果的方差均不小,0.044 不宜视为稳定增益:标签纠正前该增益为 0.055,纠正后降至 0.044,本身即说明其含噪声成分。
七、未达成的指标及原因
按开题设定的指标逐条对照:
- 电商 2000 个 SKU:实际采集 865 个候选、320 张可用主图。京东、天猫需要登录态,最终改用公开茶叶 B2C 站点(chabijia.cn),遵守 robots 协议、限速 2 秒一页。
- 图像验证准确率 85%:微调后验证 0.764、测试 0.707,未达成。主要失分在袋装召回,模型常将袋装判为礼盒。
- 文本 F1 ≥ 0.80:情感达 0.807,事件 0.608 未达。事件中政策类仅一百余条训练样本,类别不平衡限制了上限。
- S7 短视频 ≥ 300 条:0 条。三个原因叠加:平台需要登录态与设备指纹;公开素材授权不明;本机 ffprobe、ffmpeg、whisper 均不可用。按开题风险预案做 P2 降级,模态由 4 种降为 3 种,报告须写明原因,不能表述为"后续补齐"。
- 融合增益 10%:未达成。价格侧加入天气、新闻均为负增益;图文侧包装任务 +4.4%,品类任务 −2.4%。
这些结果不构成"什么都没做":每一条都有可复现的数字与明确的卡点,后续接手者不必从头试错。未达成与无法判定是两件事,前者是明确的结论。
八、可供参考的五点做法
- 先建立数据可用性校验。 我为两千四百五十二个输入文件建立 SHA256 基线,每次运行先校验,哈希不一致即中止。这一步比任何模型都更影响结论可信度。
- 先跑最简基线。 季节朴素的 MAE 为 4.41,始终优于其余模型。不清楚基线位置,就无法判断模型是否有效。
- 人工标签与 AI 标签分两条通道。 不要混在同一列,也不要用规则标签作为训练目标(15.67% 的一致率即为证据)。抽检必须盲标。
- 负结果同样记录。 "加入特征后误差上升"比"模型提升 3%"包含更多信息,至少能说明该路径在当前数据量下不成立。
- 把复现命令写进 README。 整条价格回测五秒内可跑完(
python -m src.modeling.run_experiments),四十五个单元测试两秒完成。结果可复现,数字才可信。
代码与数据见 Gitee 仓库:https://gitee.com/wwang-shihao/data-collection-in-2026
git clone https://gitee.com/wwang-shihao/data-collection-in-2026.git
cd 闵茶项目
python -m venv .venv && .venv\Scripts\activate
pip install -r requirements.txt
python -m src.modeling.run_experiments # 价格回测,约 5 秒
python -m src.multimodal.monthly_summary # 月×产区特征
这一部分最有价值的部分并非某个模型的分数,而是对边界条件的确认:四十个回测月、测试准确率 0.707、短视频 0 条,这些数字并不理想,但均可核验,也明确了下一步需要补什么。

浙公网安备 33010602011771号