西西嘛呦

摘要： 怎么裁剪LLM（大语言模型）的vocab（词表）？ Part1前言 对于一些多语言的大语言模型而言，它的词表往往很大。在下游使用这些模型的时候，可能我们不需要其它的一些语言，例如只需要中文和英文，此时，我们可以对其vocab进行裁剪，既可以大大减少参数量，也能够保留模型的性能，接下来以Bloom模型 阅读全文

摘要： Part1前言 随着大语言模型的流行，如何让大模型在消费级GPU上进行微调训练成为了热点。掌握参数有效微调成为每个自然语言处理工程师必不可少的技能，正好hugging face开源了一个PEFT库，让我们也能够自己动手去了解参数有效微调。接下来以中文情感分析（二分类）去了解下参数有效微调。 使用的方 阅读全文

摘要： 又一个针对LoRA的改进方法： DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation https://arxiv.org/pdf/2210.07558 阅读全文

摘要： EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA https://arxiv.org/pdf/2304.08177v1.pdf https://github.com/ymcui/Chinese-LLaMA-Alpa 阅读全文

摘要： Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation 论文地址：https://arxiv.org/pdf/ 阅读全文

摘要： CHINESE OPEN INSTRUCTION GENERALIST: A PRELIMINARY RELEASE 论文：https://arxiv.org/pdf/2304.07987v1.pdf 数据地址：https://huggingface.co/datasets/BAAI/COIG Pa 阅读全文

摘要： 用GPT4进行指令微调 INSTRUCTION TUNING WITH GPT-4 论文：https://arxiv.org/pdf/2304.03277.pdf 代码：https://instruction-tuning-with-gpt-4.github.io/ 前言 之前的工作表明，使用机器生 阅读全文

摘要： LLaMA：开放和高效的基础语言模型 https://arxiv.org/pdf/2302.13971.pdf https://github.com/facebookresearch/llama Part1前言 我们介绍了LLaMA，这是一个参数范围从7B到65B的基础语言模型集合。我们在数以万亿计 阅读全文

摘要： 目前为止：2023-04-03 之前使用浏览器插件修改禁止重定向到中文版的bing都失效了，目前最新的解决方法。 1、你需要一个梯子。 2、安装扩展GS Helper - 谷歌搜索和谷歌学术助手 - Microsoft Edge Addons ，之后会弹出一个对话框，选择保留修改，之后随便新建一个标 阅读全文

摘要： LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文地址：https://arxiv.org/pdf/2106.09685.pdf 代码地址：https://github.com/microsoft/LoRA 摘要 自然语言处理的一个重要范式包 阅读全文