合集-大模型
摘要：GPT，GPT-2，GPT-3 论文精读【论文精读】_哔哩哔哩_bilibili ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定符合我们特定的任务，是一种双向的特征提取。 OpenAI GPT: 通过transformer decoder学习出来一个语言模型，不是固
阅读全文
摘要：写在前面 本文主要是对博客 https://jaykmody.com/blog/gpt-from-scratch/ 的精简整理，并加入了自己的理解。 中文翻译：https://jiqihumanr.github.io/2023/04/13/gpt-from-scratch/#circle=on 项目
阅读全文
摘要：一、安装和使用 官网下载安装Cursor，然后创建一个代码文件。Ctrl + K生成， Ctrl + L提问。 默认每小时30词。 1. Try generating with command K on a new line. Ask for a pytorch script of a feedfo
阅读全文
摘要：
一、Transformer概述 Transformer是由谷歌在17年提出并应用于神经机器翻译的seq2seq模型，其结构完全通过自注意力机制完成对源语言序列和目标语言序列的全局依赖建模。 Transformer由编码器和解码器构成。下图展示了它的结构，其左侧和右侧分别对应着编码器（Encoder）
阅读全文
一、Transformer概述 Transformer是由谷歌在17年提出并应用于神经机器翻译的seq2seq模型，其结构完全通过自注意力机制完成对源语言序列和目标语言序列的全局依赖建模。 Transformer由编码器和解码器构成。下图展示了它的结构，其左侧和右侧分别对应着编码器（Encoder）
阅读全文
摘要：一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_
阅读全文
摘要：一、Transformer Transformer最开始用于机器翻译任务，其架构是seq2seq的编码器解码器架构。其核心是自注意力机制： 每个输入都可以看到全局信息，从而缓解RNN的长期依赖问题。 输入： （待学习的）输入词嵌入 + 位置编码（相对位置） 编码器结构： 6层编码器： 一层编码器 =
阅读全文
摘要：本文将在DialogSum数据集上使用2张T4卡对2.7B的microsoft/phi2进行LORA微调。 博客翻译自Kaggle项目 fine-tuning-llm-for-dialogue-summarization https://www.kaggle.com/code/aisuko/fine
阅读全文
摘要：
最新版本，详见我的知乎文章：https://zhuanlan.zhihu.com/p/696057719 一、背景 目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。 指令微调是预训练语言模型微调的主流范式 其目的是尽量让下游
阅读全文
最新版本，详见我的知乎文章：https://zhuanlan.zhihu.com/p/696057719 一、背景 目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。 指令微调是预训练语言模型微调的主流范式 其目的是尽量让下游
阅读全文
摘要：
博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所
阅读全文
博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所
阅读全文
摘要：
本文是【训练LLM系列】的第一篇，主要重点介绍NanoGPT代码以及中文、英文预训练实践。最新版参见我的知乎：https://zhuanlan.zhihu.com/p/716442447 除跑通原始NanoGPT代码之外，分别使用了《红楼梦》、四大名著和几十本热门网络小说，进行了字符级、自行训练to
阅读全文
本文是【训练LLM系列】的第一篇，主要重点介绍NanoGPT代码以及中文、英文预训练实践。最新版参见我的知乎：https://zhuanlan.zhihu.com/p/716442447 除跑通原始NanoGPT代码之外，分别使用了《红楼梦》、四大名著和几十本热门网络小说，进行了字符级、自行训练to
阅读全文
摘要：一、前言 本文主要是在复现和实践Phi2-mini-Chinese后，简要分析下Phi2-mini-Chinese这个项目，做一个学习实战总结。 原文发布于知乎：https://zhuanlan.zhihu.com/p/718307193，转载请注明出数。 Phi2-mini-Chinese简介 P
阅读全文
摘要：本文主要使用Qwen2ForSequenceClassification实现文本分类任务。 文章首发于我的知乎：https://zhuanlan.zhihu.com/p/17468021019 一、实验结果和结论 这几个月，在大模型分类场景做了很多实验，攒了一点小小经验。 1、短文本 1）query
阅读全文
浙公网安备 33010602011771号