qwen3.5-plus 模型9分类效果

Stage1 分型评测报告

基本信息

项目

评测日期

2026-07-09

模型

qwen3.5-plus

API 平台

阿里云 DashScope

样本总数

159

图片来源

本地目录 ./test_images/downloaded/

总体指标

指标

数值

样本总数

159

调用失败/无结果

10 (6.3%)

Top1 准确率

60.4%

Top3 命中率

73.6%

Macro Top1

59.8%

Macro Top3

73.1%

各分型准确率

分型

样本数

Top1 正确数

Top1 准确率

Top3 正确数

Top3 命中率

华丽高雅型

18

17

94.4%

17

94.4%

甜美少女型

18

15

83.3%

17

94.4%

温婉柔美型

18

13

72.2%

14

77.8%

自然优雅型

18

12

66.7%

18

100%

浪漫性感型

18

12

66.7%

16

88.9%

魅力时尚型

18

11

61.1%

11

61.1%

飒爽前卫型

17

9

52.9%

9

52.9%

盐系简洁型

17

5

29.4%

11

64.7%

知性沉着型

17

2

11.8%

4

23.5%

误判去向分析

高频误判(出现次数 ≥ 3)

真值

误判为

次数

盐系简洁型

自然优雅型

6

知性沉着型

温婉柔美型

5

盐系简洁型

温婉柔美型

4

知性沉着型

无结果

4

知性沉着型

自然优雅型

4

浪漫性感型

温婉柔美型

4

魅力时尚型

温婉柔美型

3

温婉柔美型

自然优雅型

3

自然优雅型

温婉柔美型

3

飒爽前卫型

自然优雅型

3

问题分析

低准确率分型问题

  1. 知性沉着型(11.8%)

    • 主要误判:温婉柔美型(5次)、自然优雅型(4次)、无结果(4次)

    • 原因:模型难以识别「微驼峰鼻」「深人中沟」等细微特征

  2. 盐系简洁型(29.4%)

    • 主要误判:自然优雅型(6次)、温婉柔美型(4次)

    • 原因:模型难以区分「直鼻+清爽少年感」与「均衡自然」

高准确率分型

  • 华丽高雅型(94.4%):特征明显(大眼+高挺鼻),容易识别

  • 甜美少女型(83.3%):特征明显(卧蚕+嘟嘟唇),容易识别

  • 自然优雅型 Top3(100%):作为「均衡型」,容易进入候选列表

与目标差距

指标

当前值

目标值

差距

Top1 准确率

60.4%

80%

-19.6%

Top3 命中率

73.6%

-

-

建议优化方向

  1. 针对低准确率分型优化提示词:增强「微驼峰鼻」「深人中沟」「直鼻」等特征的描述

  2. 增加 Few-shot 示例:为知性沉着型和盐系简洁型添加更多典型示例

  3. 尝试更强大的视觉模型:如 GPT-4V、Qwen2.5-VL-72B 等

  4. 数据清洗:检查低准确率分型的样本质量,排除模糊/角度不佳的图片

评测配置

# 评测命令
python3 eval_stage1.py \
  --data ./test_images/samples_local.jsonl \
  --workers 1 \
  --out eval_results_local_qwen35_full \
  --download-images \
  --model qwen3.5-plus \
  --base-url https://dashscope.aliyuncs.com/compatible-mode/v1

# 环境变量
DASHSCOPE_API_KEY=sk-ws-xxx

结果文件

  • summary.json:汇总指标

  • details.jsonl:每条样本详情

  • confusion_matrix.csv:混淆矩阵

  • errors.csv:错例清单

posted on 2026-07-09 09:26  limingqi  阅读(4)  评论(0)    收藏  举报

导航