lexn - 博客园

：）基于pytorch 的loss监控可视化-|

摘要：基于pytorch 的loss监控可视化绘制可以train和val在一张图上的趋势图。 1 安装tensorboard pip install tensorboard 2 嵌入代码工程 1）定义数据集 # 训练可视化 from torch.utils.tensorboard import Su 阅读全文

posted @ 2023-03-30 12:09 lexn 阅读(643) 评论(0) 推荐(0)

GPT前世今生-transformer-注意力机制

摘要： GPT前世今生-transformer-注意力机制背景：心理学知识，随意线索和非随意线索。启发：注意力机制中概念： query：你的要求查询的东西。如问“你要干嘛？” key：如杯子，本子 value：可以也是杯子本子，也可以是对应的分值(即注意力重要程度) 数学： f(x) = xi，y 阅读全文

posted @ 2023-03-28 09:49 lexn 阅读(220) 评论(0) 推荐(0)

GPT前世今生-transformer

摘要： GPT前世今生-transformer 路线： hugging(tang）->transformer(tang）-> GPT2 NLP 中的transformer 都是分类问题 hugging中怎么查预训练模型。 FAQ 1 多头注意力机制中什么是key，value和query？答：在Tran 阅读全文

posted @ 2023-03-25 11:56 lexn 阅读(92) 评论(0) 推荐(0)

GPT前世今生-二刷论文

摘要： GPT前世今生-二刷论文 1 GPT3 专门网站提供api ，开放各种任务 2 GPT2怎么来的 transformer 编码器+解码器 -> GPT 只是使用了解码器 -> BERT 使用了编码器 -> GPT2 1）使用解码器 2）多任务学习变化带有prompt，提示词的标注。 zeros 阅读全文

posted @ 2023-03-24 10:11 lexn 阅读(369) 评论(0) 推荐(0)

：）关于transformers模型的保存与加载-|

摘要：关于transformers模型的保存与加载两种情况，自定义模型训练后保存， transformers预训练模型保存。参考代码 # -*- coding: utf-8 -*- import torch from transformers import GPT2LMHeadModel from 阅读全文

posted @ 2023-03-22 21:58 lexn 阅读(3048) 评论(0) 推荐(0)

基于GPT-2预训练模型chat 演示-代码说明

摘要：基于GPT-2预训练模型chat 演示-代码说明代码路径：shibing624/gpt2-dialogbot-base-chinese · Hugging Face 代码说明：4.MMI模型训练与生成_哔哩哔哩_bilibili 1 文本预处理下载语料 2 train 1 dataset 2 d 阅读全文

posted @ 2023-03-21 09:37 lexn 阅读(180) 评论(0) 推荐(0)

ChatGPT背后的算法——RLHF总结

摘要： ChatGPT背后的算法——RLHF总结参考链接：抱抱脸：ChatGPT背后的算法——RLHF | 附12篇RLHF必刷论文 (qq.com) 背景（文本生成的语言模型评价不在训练中) chatGPT训练4步骤 1 预训练 [prompt, text] 无监督，数据语料来源可能都是爬虫web 阅读全文

posted @ 2023-03-19 19:01 lexn 阅读(201) 评论(0) 推荐(0)

NLP-聊天机器人输入输出原理

摘要： NLP-聊天机器人输入输出原理后续会加载聊天机器人使用的transformer 更深入内部原理 import transformers import torch import os import json import random import numpy as np import argpa 阅读全文

posted @ 2023-03-09 08:26 lexn 阅读(167) 评论(0) 推荐(0)

NLP-transformer-分词库用法

摘要： NLP-transformer-分词库用法参考文档： https://blog.csdn.net/orangerfun/article/details/124089467 1 pip install transformer 2 下载专有的vocab.txt词典这个词典用于把单词-> id - 阅读全文

posted @ 2023-03-03 09:48 lexn 阅读(126) 评论(0) 推荐(0)

make编译工具教程

摘要： make编译工具教程背景 CC++编译起来目录结构多的情况需要脚本完成搜索编译-> make 第一课第三课 makefile常用编程语法： 1 pipe管道符号，用;把命令相连接。这样就一条命令结果应用在下一条命令中。 CD -- ；pwd 与 cd --； pwd 结果不一样 2 用-在命阅读全文

posted @ 2023-03-02 20:48 lexn 阅读(76) 评论(0) 推荐(0)