工作小结——Qwen2-7B-Instruct调用
摘要:
2025/11/211. batch调用需要设置padding和truncation,以及max_length;2. 无需手动设置 mask,tokenizer(padding=True)会自动生成「1(有效)+ 0(padding)」的attention_mask: model.generate( 阅读全文
posted @ 2025-11-21 18:01 Mju_halcyon 阅读(4) 评论(0) 推荐(0)
浙公网安备 33010602011771号