lexn - 博客园

大模型微调方法总结

摘要：大模型微调方法总结参考链接：https://blog.csdn.net/v_JULY_v/article/details/132116949 前言：随着chatGPT的备受欢迎，大模型异常火爆，各大厂商相继推出自己的大模型。二级公司和用户需要根据自身的垂直领域微调这些具有语义理解能力的大模型，以阅读全文

posted @ 2023-10-17 09:30 lexn 阅读(3388) 评论(0) 推荐(0)

NLP原理系列1-说清楚transformer原理

摘要： NLP原理系列1-说清楚transformer原理来用思维导图和截图描述。思维导图的本质是变化(解决问题)-> 更好的，或者复杂问题拆分为小问题以及拆分的思路。参考链接：李宏毅 transformer原理。经典全图 0 transformer的前世今生 1 seq2seq 序列化数据阅读全文

posted @ 2023-08-30 09:39 lexn 阅读(560) 评论(0) 推荐(0)

etx安装第三方库

摘要： etx安装第三方库原理本质就是对py的真实环境copy一份另建立一个目录背景：ETX 对于迭代的sdk版本不易管理，来回切换比较麻烦。所以需要创建venv管理sdk版本。 conda和venv二者均可。 1 查找原来建立的venv $ python3 -m venv -h 列出帮助 2 新建阅读全文

posted @ 2023-05-23 17:48 lexn 阅读(70) 评论(0) 推荐(0)

关于真正量化和假冒量化的原理分析

摘要：关于真正量化和假冒量化的原理分析背景：目前大量的 GPT-base 模型的量化仅仅对权重（weights）进行量化，而没有对特征图（feature maps）进行量化。这样的量化模型实际上并不是真正的量化模型。在深度学习中，模型参数（weights）和输入数据（feature maps）都可以阅读全文

posted @ 2023-05-10 18:40 lexn 阅读(313) 评论(0) 推荐(0)

：）深度学习模型如何统计params量-|

摘要：：）深度学习模型如何统计params量-| 链接：深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结 (itvuer.com) 大概有params， summary，以及第三方库还可以直接统计参数量对计算量的影响，能直接统计占用算力资源 from thop i 阅读全文

posted @ 2023-04-17 18:57 lexn 阅读(141) 评论(0) 推荐(0)

：）搭建公司级的chatGPTmingu-|

摘要：搭建公司级的chatGPT(业务答疑) 一搭建对话服务平台参考工程：gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com) 参考链接：https://www 阅读全文

posted @ 2023-04-17 17:00 lexn 阅读(261) 评论(0) 推荐(0)

python实验室1-列表套列表-子列表反转

摘要： python实验室1-列表套列表-子列表反转实现列表套列表，其中的各个子列表实现反转现象：使用map，在cmd 和 pycharm环境实现不一样现象1：cmd >>> a = [[1,2,3], [2,5,7]] >>> a [[1, 2, 3], [2, 5, 7]] >>> b = ma 阅读全文

posted @ 2023-04-13 15:00 lexn 阅读(38) 评论(0) 推荐(0)

：）关于torch函数中dim的解释-读这篇就够了-|

摘要：关于torch函数中dim的解释-读这篇就够了 1 dim的取值范围 1）-1的作用 0，1，2，-1. 其中-1 最后一维即 2 0，1，2，3，-1其中-1 最后一维即3 2）维度 0，1，2，3表示 BCHW，常在CV任务中使用。 0，1，2 表示 CHW，常在NLP任务中使用。 3）用阅读全文

posted @ 2023-04-08 11:18 lexn 阅读(760) 评论(0) 推荐(1)

pytorch中bin模型文件转onnx遇到的问题

摘要： pytorch中bin模型文件转onnx遇到的问题 1 常规做法 import os import numpy as np from transformers import GPT2LMHeadModel import torch localfile = r"C:\Users\min_ppl_mod 阅读全文

posted @ 2023-04-04 17:54 lexn 阅读(1082) 评论(0) 推荐(0)

：）语言模型的评价-PPL迷惑度-从语言模型说起-|

摘要：语言模型的评价-PPL迷惑度-从语言模型说起一语言模型 1.1语言模型概念： 1 计算一个句子的概率模型 2 也就是能够判断一个句子是否是人类语言，输出其概率。 1.2推导 1.3它的概率表示为： 1.4存在两个缺陷： 1、參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多，阅读全文

posted @ 2023-03-31 16:09 lexn 阅读(1128) 评论(0) 推荐(0)