qwen3.5-plus 模型9分类效果
Stage1 分型评测报告
基本信息
|
项目 |
值 |
|---|---|
|
评测日期 |
2026-07-09 |
|
模型 |
qwen3.5-plus |
|
API 平台 |
阿里云 DashScope |
|
样本总数 |
159 |
|
图片来源 |
本地目录 |
总体指标
|
指标 |
数值 |
|---|---|
|
样本总数 |
159 |
|
调用失败/无结果 |
10 (6.3%) |
|
Top1 准确率 |
60.4% |
|
Top3 命中率 |
73.6% |
|
Macro Top1 |
59.8% |
|
Macro Top3 |
73.1% |
各分型准确率
|
分型 |
样本数 |
Top1 正确数 |
Top1 准确率 |
Top3 正确数 |
Top3 命中率 |
|---|---|---|---|---|---|
|
华丽高雅型 |
18 |
17 |
94.4% |
17 |
94.4% |
|
甜美少女型 |
18 |
15 |
83.3% |
17 |
94.4% |
|
温婉柔美型 |
18 |
13 |
72.2% |
14 |
77.8% |
|
自然优雅型 |
18 |
12 |
66.7% |
18 |
100% |
|
浪漫性感型 |
18 |
12 |
66.7% |
16 |
88.9% |
|
魅力时尚型 |
18 |
11 |
61.1% |
11 |
61.1% |
|
飒爽前卫型 |
17 |
9 |
52.9% |
9 |
52.9% |
|
盐系简洁型 |
17 |
5 |
29.4% |
11 |
64.7% |
|
知性沉着型 |
17 |
2 |
11.8% |
4 |
23.5% |
误判去向分析
高频误判(出现次数 ≥ 3)
|
真值 |
误判为 |
次数 |
|---|---|---|
|
盐系简洁型 |
自然优雅型 |
6 |
|
知性沉着型 |
温婉柔美型 |
5 |
|
盐系简洁型 |
温婉柔美型 |
4 |
|
知性沉着型 |
无结果 |
4 |
|
知性沉着型 |
自然优雅型 |
4 |
|
浪漫性感型 |
温婉柔美型 |
4 |
|
魅力时尚型 |
温婉柔美型 |
3 |
|
温婉柔美型 |
自然优雅型 |
3 |
|
自然优雅型 |
温婉柔美型 |
3 |
|
飒爽前卫型 |
自然优雅型 |
3 |
问题分析
低准确率分型问题
-
知性沉着型(11.8%)
-
主要误判:温婉柔美型(5次)、自然优雅型(4次)、无结果(4次)
-
原因:模型难以识别「微驼峰鼻」「深人中沟」等细微特征
-
-
盐系简洁型(29.4%)
-
主要误判:自然优雅型(6次)、温婉柔美型(4次)
-
原因:模型难以区分「直鼻+清爽少年感」与「均衡自然」
-
高准确率分型
-
华丽高雅型(94.4%):特征明显(大眼+高挺鼻),容易识别
-
甜美少女型(83.3%):特征明显(卧蚕+嘟嘟唇),容易识别
-
自然优雅型 Top3(100%):作为「均衡型」,容易进入候选列表
与目标差距
|
指标 |
当前值 |
目标值 |
差距 |
|---|---|---|---|
|
Top1 准确率 |
60.4% |
80% |
-19.6% |
|
Top3 命中率 |
73.6% |
- |
- |
建议优化方向
-
针对低准确率分型优化提示词:增强「微驼峰鼻」「深人中沟」「直鼻」等特征的描述
-
增加 Few-shot 示例:为知性沉着型和盐系简洁型添加更多典型示例
-
尝试更强大的视觉模型:如 GPT-4V、Qwen2.5-VL-72B 等
-
数据清洗:检查低准确率分型的样本质量,排除模糊/角度不佳的图片
评测配置
# 评测命令
python3 eval_stage1.py \
--data ./test_images/samples_local.jsonl \
--workers 1 \
--out eval_results_local_qwen35_full \
--download-images \
--model qwen3.5-plus \
--base-url https://dashscope.aliyuncs.com/compatible-mode/v1
# 环境变量
DASHSCOPE_API_KEY=sk-ws-xxx
结果文件
-
summary.json:汇总指标 -
details.jsonl:每条样本详情 -
confusion_matrix.csv:混淆矩阵 -
errors.csv:错例清单
本文来自博客园,作者:limingqi,转载请注明原文链接:https://www.cnblogs.com/limingqi/p/21273220
浙公网安备 33010602011771号