Fork me on GitHub
摘要: github地址:https://github.com/zhanghang1989/ResNeSt 论文地址:https://hangzhang.org/files/resnest.pdf 2020.06.23 张航视频讲解ResNeSt:https://www.bilibili.com/video 阅读全文
posted @ 2020-04-18 22:27 西西嘛呦 阅读(22996) 评论(3) 推荐(7) 编辑
摘要: 前面已经讲过: 怎么让英文大语言模型支持中文?(一)构建中文tokenization 怎么让英文大语言模型支持中文?(二)继续预训练 这里是最后一部分了:怎么让英文大语言模型支持中文?(三)对预训练模型进行指令微调。 代码已上传到github: chinese_llm_sft Part1前言 在之前 阅读全文
posted @ 2023-06-28 10:59 西西嘛呦 阅读(1186) 评论(0) 推荐(1) 编辑
摘要: 代码已上传到github: https://github.com/taishan1994/chinese_llm_pretrained Part1前言 前面我们已经讲过怎么构建中文领域的tokenization: https://zhuanlan.zhihu.com/p/639144223 接下来我 阅读全文
posted @ 2023-06-25 16:16 西西嘛呦 阅读(522) 评论(4) 推荐(0) 编辑
摘要: 代码地址:https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前,大语言模型呈爆发式的增长,其中,基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好,接下来本文将讲解如何去扩充vocab里 阅读全文
posted @ 2023-06-24 10:45 西西嘛呦 阅读(1498) 评论(0) 推荐(0) 编辑
摘要: 对应关系: https://docs.anaconda.com/free/anaconda/reference/packages/oldpkglists/ 国内下载地址: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D 1 阅读全文
posted @ 2023-06-16 14:27 西西嘛呦 阅读(137) 评论(2) 推荐(0) 编辑
摘要: 下载python 网址:https://mirrors.huaweicloud.com/python/ 这里以安装python3.7.1为例: wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 编译和安装python pref 阅读全文
posted @ 2023-05-04 18:21 西西嘛呦 阅读(124) 评论(0) 推荐(0) 编辑
摘要: Part1基本介绍 大语言模型目前一发不可收拾,在使用的时候经常会看到transformers库的踪影,其中xxxCausalLM和xxxForConditionalGeneration会经常出现在我们的视野中,接下来我们就来聊聊transformers库中的一些基本任务。 这里以三类模型为例:be 阅读全文
posted @ 2023-04-26 16:37 西西嘛呦 阅读(588) 评论(0) 推荐(0) 编辑
摘要: Part1配置及参数 transformers==4.28.1 源码地址:transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com) 文档地址:Generation (huggingfa 阅读全文
posted @ 2023-04-25 17:34 西西嘛呦 阅读(3412) 评论(0) 推荐(1) 编辑
摘要: 登录:https://colab.research.google.com/github/ 将github上的ipynb文件路径复制到框里面即可。 阅读全文
posted @ 2023-04-24 16:30 西西嘛呦 阅读(274) 评论(0) 推荐(0) 编辑
摘要: pytorch在有限的资源下部署大语言模型(以ChatGLM-6B为例) Part1知识准备 在PyTorch中加载预训练的模型时,通常的工作流程是这样的: my_model = ModelClass(...)state_dict =torch.load(checkpoint_file) 用简单的话 阅读全文
posted @ 2023-04-23 09:38 西西嘛呦 阅读(3245) 评论(0) 推荐(2) 编辑
摘要: 讲在前面,chatgpt出来的时候就想过将其利用在信息抽取方面,后续也发现了不少基于这种大语言模型的信息抽取的论文,比如之前收集过的: https://github.com/cocacola-lab/GPT4IEhttps://github.com/RidongHan/Evaluation-of-C 阅读全文
posted @ 2023-04-21 15:02 西西嘛呦 阅读(1950) 评论(0) 推荐(2) 编辑