lexn - 博客园

：）深度学习模型如何统计params量-|

摘要：：）深度学习模型如何统计params量-| 链接：深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结 (itvuer.com) 大概有params， summary，以及第三方库还可以直接统计参数量对计算量的影响，能直接统计占用算力资源 from thop i 阅读全文

posted @ 2023-04-17 18:57 lexn 阅读(66) 评论(0) 推荐(0) 编辑

：）搭建公司级的chatGPTmingu-|

摘要：搭建公司级的chatGPT(业务答疑) 一搭建对话服务平台参考工程：gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com) 参考链接：https://www 阅读全文

posted @ 2023-04-17 17:00 lexn 阅读(186) 评论(0) 推荐(0) 编辑

python实验室1-列表套列表-子列表反转

摘要： python实验室1-列表套列表-子列表反转实现列表套列表，其中的各个子列表实现反转现象：使用map，在cmd 和 pycharm环境实现不一样现象1：cmd >>> a = [[1,2,3], [2,5,7]] >>> a [[1, 2, 3], [2, 5, 7]] >>> b = ma 阅读全文

posted @ 2023-04-13 15:00 lexn 阅读(21) 评论(0) 推荐(0) 编辑

：）关于torch函数中dim的解释-读这篇就够了-|

摘要：关于torch函数中dim的解释-读这篇就够了 1 dim的取值范围 1）-1的作用 0，1，2，-1. 其中-1 最后一维即 2 0，1，2，3，-1其中-1 最后一维即3 2）维度 0，1，2，3表示 BCHW，常在CV任务中使用。 0，1，2 表示 CHW，常在NLP任务中使用。 3）用阅读全文

posted @ 2023-04-08 11:18 lexn 阅读(425) 评论(0) 推荐(1) 编辑

pytorch中bin模型文件转onnx遇到的问题

摘要： pytorch中bin模型文件转onnx遇到的问题 1 常规做法 import os import numpy as np from transformers import GPT2LMHeadModel import torch localfile = r"C:\Users\min_ppl_mod 阅读全文

posted @ 2023-04-04 17:54 lexn 阅读(612) 评论(0) 推荐(0) 编辑

：）语言模型的评价-PPL迷惑度-从语言模型说起-|

摘要：语言模型的评价-PPL迷惑度-从语言模型说起一语言模型 1.1语言模型概念： 1 计算一个句子的概率模型 2 也就是能够判断一个句子是否是人类语言，输出其概率。 1.2推导 1.3它的概率表示为： 1.4存在两个缺陷： 1、參数空间过大：条件概率P(wn|w1,w2,..,wn-1)的可能性太多，阅读全文

posted @ 2023-03-31 16:09 lexn 阅读(412) 评论(0) 推荐(0) 编辑

：）基于pytorch 的loss监控可视化-|

摘要：基于pytorch 的loss监控可视化绘制可以train和val在一张图上的趋势图。 1 安装tensorboard pip install tensorboard 2 嵌入代码工程 1）定义数据集 # 训练可视化 from torch.utils.tensorboard import Su 阅读全文

posted @ 2023-03-30 12:09 lexn 阅读(337) 评论(0) 推荐(0) 编辑

GPT前世今生-transformer-注意力机制

摘要： GPT前世今生-transformer-注意力机制背景：心理学知识，随意线索和非随意线索。启发：注意力机制中概念： query：你的要求查询的东西。如问“你要干嘛？” key：如杯子，本子 value：可以也是杯子本子，也可以是对应的分值(即注意力重要程度) 数学： f(x) = xi，y 阅读全文

posted @ 2023-03-28 09:49 lexn 阅读(175) 评论(0) 推荐(0) 编辑

GPT前世今生-transformer

摘要： GPT前世今生-transformer 路线： hugging(tang）->transformer(tang）-> GPT2 NLP 中的transformer 都是分类问题 hugging中怎么查预训练模型。 FAQ 1 多头注意力机制中什么是key，value和query？答：在Tran 阅读全文

posted @ 2023-03-25 11:56 lexn 阅读(71) 评论(0) 推荐(0) 编辑

GPT前世今生-二刷论文

摘要： GPT前世今生-二刷论文 1 GPT3 专门网站提供api ，开放各种任务 2 GPT2怎么来的 transformer 编码器+解码器 -> GPT 只是使用了解码器 -> BERT 使用了编码器 -> GPT2 1）使用解码器 2）多任务学习变化带有prompt，提示词的标注。 zeros 阅读全文

posted @ 2023-03-24 10:11 lexn 阅读(300) 评论(0) 推荐(0) 编辑