Fork me on GitHub
上一页 1 2 3 4 5 6 ··· 119 下一页
摘要: 怎么裁剪LLM(大语言模型)的vocab(词表)? Part1前言 对于一些多语言的大语言模型而言,它的词表往往很大。在下游使用这些模型的时候,可能我们不需要其它的一些语言,例如只需要中文和英文,此时,我们可以对其vocab进行裁剪,既可以大大减少参数量,也能够保留模型的性能,接下来以Bloom模型 阅读全文
posted @ 2023-04-21 14:02 西西嘛呦 阅读(836) 评论(0) 推荐(0) 编辑
摘要: Part1前言 随着大语言模型的流行,如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能,正好hugging face开源了一个PEFT库,让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析(二分类)去了解下参数有效微调。 使用的方 阅读全文
posted @ 2023-04-20 19:10 西西嘛呦 阅读(803) 评论(0) 推荐(0) 编辑
摘要: 又一个针对LoRA的改进方法: DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation https://arxiv.org/pdf/2210.07558 阅读全文
posted @ 2023-04-20 15:46 西西嘛呦 阅读(320) 评论(0) 推荐(0) 编辑
摘要: EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA https://arxiv.org/pdf/2304.08177v1.pdf https://github.com/ymcui/Chinese-LLaMA-Alpa 阅读全文
posted @ 2023-04-18 17:24 西西嘛呦 阅读(506) 评论(0) 推荐(0) 编辑
摘要: Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation 论文地址:https://arxiv.org/pdf/ 阅读全文
posted @ 2023-04-18 15:51 西西嘛呦 阅读(106) 评论(0) 推荐(0) 编辑
摘要: CHINESE OPEN INSTRUCTION GENERALIST: A PRELIMINARY RELEASE 论文:https://arxiv.org/pdf/2304.07987v1.pdf 数据地址:https://huggingface.co/datasets/BAAI/COIG Pa 阅读全文
posted @ 2023-04-18 15:10 西西嘛呦 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 用GPT4进行指令微调 INSTRUCTION TUNING WITH GPT-4 论文:https://arxiv.org/pdf/2304.03277.pdf 代码:https://instruction-tuning-with-gpt-4.github.io/ 前言 之前的工作表明,使用机器生 阅读全文
posted @ 2023-04-07 15:09 西西嘛呦 阅读(868) 评论(3) 推荐(0) 编辑
摘要: LLaMA:开放和高效的基础语言模型 https://arxiv.org/pdf/2302.13971.pdf https://github.com/facebookresearch/llama Part1前言 我们介绍了LLaMA,这是一个参数范围从7B到65B的基础语言模型集合。我们在数以万亿计 阅读全文
posted @ 2023-04-07 10:44 西西嘛呦 阅读(779) 评论(5) 推荐(0) 编辑
摘要: 目前为止:2023-04-03 之前使用浏览器插件修改禁止重定向到中文版的bing都失效了,目前最新的解决方法。 1、你需要一个梯子。 2、安装扩展GS Helper - 谷歌搜索和谷歌学术助手 - Microsoft Edge Addons ,之后会弹出一个对话框,选择保留修改,之后随便新建一个标 阅读全文
posted @ 2023-04-03 17:55 西西嘛呦 阅读(2128) 评论(0) 推荐(0) 编辑
摘要: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文地址:https://arxiv.org/pdf/2106.09685.pdf 代码地址:https://github.com/microsoft/LoRA 摘要 自然语言处理的一个重要范式包 阅读全文
posted @ 2023-04-03 14:51 西西嘛呦 阅读(1734) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 119 下一页