michaelchengjl

摘要： vLLM 部署大模型 https://github.com/vllm-project/vllm/tree/v0.2.0 https://vllm.readthedocs.io/en/latest/getting_started/installation.html https://vllm.readt 阅读全文

摘要： LLM推理优化 https://blog.csdn.net/LF_AI/article/details/133054474?spm=1001.2014.3001.5502 阅读全文

摘要： Error loading wikitext data raise NotImplementedError(f"Loading a dataset cached in a {type(self._fs).name} is not supported.") QA I was trying to loa 阅读全文

摘要： # LoRA 简介 ## 简介 **LoRA，英文全称Low-Rank Adaptation of Large Language Models，直译为大语言模型的低阶适应，这是微软的研究人员为了解决大语言模型微调而开发的一项技术。** 如果想让一个预训练大语言模型能够执行特定领域内的任务，一般需要做 阅读全文

摘要： # Python 命令行工具库：Fire > Python Fire 是 Google 开源的一个可从任何 Python 代码自动生成命令行接口（CLI）的库。 Python Fire 是一种在 Python 中创建 CLI 的简单方法。 Python Fire 是开发和调试 Python 代码的有 阅读全文

摘要： # Ziya-LLaMA-13B 模型在GPU 上部署 Ziya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习 阅读全文

摘要： # GIt设置代理 GIt需要设置代理，才能正常访问github 等网站 设置如下（可复制）： ``` git config --global https.proxy http://127.0.0.1:1080 git config --global https.proxy https://127. 阅读全文

摘要： onnx_runtime 推理 import numpy as np import onnx import onnxruntime as rt #create input data input_data = np.ones((1, 3, 299, 299), dtype=np.float32) #c 阅读全文

摘要： # transformer/tensorflow报错：ValueError: tensorflow.__spec__ is None , free(): invalid pointer 由于tensorflow版本（tf1）和transformer版本不匹配产生。 解决办法： ``` 1.升级ten 阅读全文

摘要： # Streamlit 入门介绍 Streamlit 是一个 Python Web 应用框架。但和常规 Web 框架，如 Flask/Django 的不同之处在于，它不需要你去编写任何客户端代码（HTML/CSS/JS），只需要编写普通的 Python 模块，就可以在很短的时间内创建美观并具备高度交 阅读全文