张博的博客

修手柄摇杆

摘要： https://www.bilibili.com/video/BV1xB4y1c7K8/?spm_id_from=333.788.top_right_bar_window_default_collection.content.click 阅读全文

posted @ 2023-10-06 16:10 张博的博客阅读(25) 评论(0) 推荐(0)

大模型rlhf 相关博客

摘要：想学习第一篇博客: https://huggingface.co/blog/zh/rlhf RLHF 技术分解 RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，这里我们按三个步骤分解：预训练一个语言模型 (LM) ；聚合问答数据并训练一个奖励模型 (Reward Model，RM) ；用阅读全文

posted @ 2023-10-03 23:31 张博的博客阅读(182) 评论(0) 推荐(0)

大模型量化4

摘要： https://huggingface.co/blog/peft 看代码: from transformers import AutoModelForSeq2SeqLM + from peft import get_peft_model, LoraConfig, TaskType model_nam 阅读全文

posted @ 2023-10-03 23:07 张博的博客阅读(38) 评论(0) 推荐(0)

有关计算机和数学问题可以15122306087联系我wechat

摘要：有关计算机和数学问题可以15122306087联系我wechat 阅读全文

posted @ 2023-10-03 13:10 张博的博客阅读(12) 评论(0) 推荐(0)

大模型量化3

摘要： https://huggingface.co/blog/4bit-transformers-bitsandbytes 1. 8 位float The FP8 (floating point 8) format has been first introduced in the paper “FP8 f 阅读全文

posted @ 2023-10-03 13:06 张博的博客阅读(266) 评论(0) 推荐(0)

大模型量化2

摘要： https://arxiv.org/pdf/2208.07339.pdf 论文题目: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale 第二章: 基础知识: 2.1 8bit的数据和量化绝对值量化: 我们直接看公式. 阅读全文

posted @ 2023-10-02 17:24 张博的博客阅读(110) 评论(0) 推荐(0)

俄罗斯下书网站

摘要： https://libgen.gs/edition.php?id=136415 阅读全文

posted @ 2023-09-30 23:01 张博的博客阅读(59) 评论(0) 推荐(0)

图像二值化后相减的bug

摘要：图像二值化后是uint8类型. 不能直接做减法. 因为2个uint8 减完还是uint8. 没有符号. 解法: astype提升即可. dangqian=dangqian.astype(int) tmpmuban=tmpmuban.astype(int) aaaa=np.abs(tmpmuban-d 阅读全文

posted @ 2023-09-27 17:22 张博的博客阅读(23) 评论(0) 推荐(0)

miniconda:这种方式安装的python不会有错误,最稳妥.

摘要： miniconda:这种方式安装的python不会有错误,最稳妥. https://mirrors.bfsu.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh conda create -n Test1 python=3.9 co 阅读全文

posted @ 2023-09-26 17:09 张博的博客阅读(21) 评论(0) 推荐(0)

大模型量化论文1

摘要：大模型如何轻量化训练和部署是非常重要的问题. 相关论文也需要学习. 第一篇我就写这里. 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION 1. 基本知识: 1.1状态优化器一个优化器在迭代第t次时候更新神经网络参数w的公式为: . L是损失函数. 分别是sg 阅读全文

posted @ 2023-09-26 14:04 张博的博客阅读(173) 评论(0) 推荐(0)

导航