随笔列表第2页 - michaelchengjl

2023年11月3日

摘要：大模型部署加速 https://zhuanlan.zhihu.com/p/659571962 https://github.com/internlm/lmdeploy https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/kv_int8. 阅读全文

posted @ 2023-11-03 15:41 michaelchengjl 阅读(63) 评论(0) 推荐(0) 编辑

vLLM 部署大模型

摘要： vLLM 部署大模型 https://github.com/vllm-project/vllm/tree/v0.2.0 https://vllm.readthedocs.io/en/latest/getting_started/installation.html https://vllm.readt 阅读全文

posted @ 2023-11-03 15:30 michaelchengjl 阅读(646) 评论(0) 推荐(0) 编辑

LLM推理优化

摘要： LLM推理优化 https://blog.csdn.net/LF_AI/article/details/133054474?spm=1001.2014.3001.5502 阅读全文

posted @ 2023-11-03 15:27 michaelchengjl 阅读(15) 评论(0) 推荐(0) 编辑

2023年11月1日

Error loading wikitext data raise NotImplementedError(f"Loading a dataset cached in a {type(self._fs).__name__} is not supported.")

摘要： Error loading wikitext data raise NotImplementedError(f"Loading a dataset cached in a {type(self._fs).name} is not supported.") QA I was trying to loa 阅读全文

posted @ 2023-11-01 17:09 michaelchengjl 阅读(344) 评论(0) 推荐(0) 编辑

2023年9月6日

LoRA 简介

摘要： # LoRA 简介 ## 简介 **LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。** 如果想让一个预训练大语言模型能够执行特定领域内的任务，一般需要做阅读全文

posted @ 2023-09-06 14:48 michaelchengjl 阅读(305) 评论(0) 推荐(0) 编辑

2023年9月5日

Python 命令行工具库：Fire

摘要： # Python 命令行工具库：Fire > Python Fire 是 Google 开源的一个可从任何 Python 代码自动生成命令行接口（CLI）的库。 Python Fire 是一种在 Python 中创建 CLI 的简单方法。 Python Fire 是开发和调试 Python 代码的有阅读全文

posted @ 2023-09-05 09:21 michaelchengjl 阅读(52) 评论(0) 推荐(0) 编辑

2023年9月4日

Ziya-LLaMA-13B 模型在GPU 上部署

摘要： # Ziya-LLaMA-13B 模型在GPU 上部署 Ziya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习阅读全文

posted @ 2023-09-04 11:37 michaelchengjl 阅读(678) 评论(1) 推荐(0) 编辑

2023年8月15日

GIt设置代理

摘要： # GIt设置代理 GIt需要设置代理，才能正常访问github 等网站设置如下（可复制）： ``` git config --global https.proxy http://127.0.0.1:1080 git config --global https.proxy https://127. 阅读全文

posted @ 2023-08-15 16:02 michaelchengjl 阅读(348) 评论(0) 推荐(0) 编辑

2023年8月11日

onnx_runtime 推理

摘要： # onnx_runtime 推理 ``` import numpy as np import onnx import onnxruntime as rt #create input data input_data = np.ones((1, 3, 299, 299), dtype=np.float 阅读全文

posted @ 2023-08-11 18:10 michaelchengjl 阅读(66) 评论(0) 推荐(0) 编辑

2023年8月2日

transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer

摘要： # transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。解决办法： ``` 1.升级ten 阅读全文

posted @ 2023-08-02 09:57 michaelchengjl 阅读(215) 评论(0) 推荐(0) 编辑

michaelchengjl

公告