上一页 1 ··· 45 46 47 48 49 50 51 52 53 ··· 78 下一页

2023年10月6日

摘要: https://www.bilibili.com/video/BV1xB4y1c7K8/?spm_id_from=333.788.top_right_bar_window_default_collection.content.click 阅读全文
posted @ 2023-10-06 16:10 张博的博客 阅读(25) 评论(0) 推荐(0)

2023年10月3日

摘要: 想学习第一篇博客: https://huggingface.co/blog/zh/rlhf RLHF 技术分解 RLHF 是一项涉及多个模型和不同训练阶段的复杂概念,这里我们按三个步骤分解: 预训练一个语言模型 (LM) ; 聚合问答数据并训练一个奖励模型 (Reward Model,RM) ; 用 阅读全文
posted @ 2023-10-03 23:31 张博的博客 阅读(182) 评论(0) 推荐(0)
摘要: https://huggingface.co/blog/peft 看代码: from transformers import AutoModelForSeq2SeqLM + from peft import get_peft_model, LoraConfig, TaskType model_nam 阅读全文
posted @ 2023-10-03 23:07 张博的博客 阅读(38) 评论(0) 推荐(0)
摘要: 有关计算机和数学问题可以15122306087联系我wechat 阅读全文
posted @ 2023-10-03 13:10 张博的博客 阅读(12) 评论(0) 推荐(0)
摘要: https://huggingface.co/blog/4bit-transformers-bitsandbytes 1. 8 位float The FP8 (floating point 8) format has been first introduced in the paper “FP8 f 阅读全文
posted @ 2023-10-03 13:06 张博的博客 阅读(266) 评论(0) 推荐(0)

2023年10月2日

摘要: https://arxiv.org/pdf/2208.07339.pdf 论文题目: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale 第二章: 基础知识: 2.1 8bit的数据和量化 绝对值量化: 我们直接看公式. 阅读全文
posted @ 2023-10-02 17:24 张博的博客 阅读(110) 评论(0) 推荐(0)

2023年9月30日

摘要: https://libgen.gs/edition.php?id=136415 阅读全文
posted @ 2023-09-30 23:01 张博的博客 阅读(59) 评论(0) 推荐(0)

2023年9月27日

摘要: 图像二值化后是uint8类型. 不能直接做减法. 因为2个uint8 减完还是uint8. 没有符号. 解法: astype提升即可. dangqian=dangqian.astype(int) tmpmuban=tmpmuban.astype(int) aaaa=np.abs(tmpmuban-d 阅读全文
posted @ 2023-09-27 17:22 张博的博客 阅读(23) 评论(0) 推荐(0)

2023年9月26日

摘要: miniconda:这种方式安装的python不会有错误,最稳妥. https://mirrors.bfsu.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh conda create -n Test1 python=3.9 co 阅读全文
posted @ 2023-09-26 17:09 张博的博客 阅读(21) 评论(0) 推荐(0)
摘要: 大模型如何轻量化训练和部署是非常重要的问题. 相关论文也需要学习. 第一篇我就写这里. 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION 1. 基本知识: 1.1状态优化器 一个优化器在迭代第t次时候更新神经网络参数w的公式为: . L是损失函数. 分别是sg 阅读全文
posted @ 2023-09-26 14:04 张博的博客 阅读(173) 评论(0) 推荐(0)
上一页 1 ··· 45 46 47 48 49 50 51 52 53 ··· 78 下一页

导航