Opencompass避坑日记

安装

1. 首先执行pip安装
2. 再下载源代码

第一句是为了安装opencompass的依赖包，第二句是为了在当前目录引入本地目录的opencomass模块。
因为有很多修改的地方。

测评

1. VLLM
   放弃吧，这个框架对VLLM的支持很差。

2. 测评方式：稳定的有且只有这一种

python run.py \
    --datasets demo_gsm8k_chat_gen demo_math_chat_gen \
    --hf-type chat \
    --hf-path Qwen/Qwen2-0.5B-Instruct \
    --debug

你要在对应目录先下载好模型

VLLM加速

• 只有API模式可以成功，但是麻烦，也很慢。
• a vllm 其实调用vllm失败也会依旧默认执行huggface，机制过于垃圾。

Debug模式

• Debug模式不能多卡。
• 关闭Debug模式，输出在对应日志里面看。

export CUDA_VISIBLE_DEVICES=0,1
python run.py \
    --datasets gsm8k_gen_1d7fe4  \
    --hf-type base \
    --hf-path Qwen/Qwen2.5-7B \
    --max-out-len 1024 \
    --min-out-len 1 \
    --hf-num-gpus 2 \
    --batch-size 32 \
    --generation-kwargs do_sample=False
    # --debug