AI - 随笔分类 - tommickey

摘要：OpenSearch Docker 安装步骤 https://blog.csdn.net/abu935009066/article/details/134569603 阅读全文

posted @ 2024-01-29 22:25 tommickey 阅读(419) 评论(0) 推荐(0)

摘要：企业大语言模型落地的困难可能包括以下几个方面：技术难度：企业大语言模型需要处理大量的数据和复杂的算法，需要具备深厚的技术积累和研发能力。同时，企业还需要考虑模型的可扩展性和可维护性，以应对不断变化的业务需求。数据难题：企业大语言模型需要大量的高质量数据进行训练，但数据的获取和处理往往非常困难。企阅读全文

posted @ 2024-01-29 07:14 tommickey 阅读(158) 评论(0) 推荐(0)

Flash-attention 2.3.2 支持 Windows了，但是我的2080ti是不支持的。

摘要：不久前Flash-attention 2.3.2 终于支持了 Windows，推荐直接使用大神编译好的whl安装 github.com/bdashore3/flash-attention/releasesstable diffusion webui flash-attention2性能测试安装环境阅读全文

posted @ 2023-12-13 15:11 tommickey 阅读(1978) 评论(0) 推荐(0)

huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/llama-2-7b-chat-hf-chinese/1.1'. Use `repo_type` argument if needed.

posted @ 2023-11-26 07:55 tommickey 阅读(5617) 评论(0) 推荐(0)

安装llama.cpp遇到的问题

摘要：llama.cpp 在ubuntu环境下编译： 1. 下载好模型文件，如 llama-2-7b-chat-hf； Mistral-7B-Instruct-v0.1/ggml-model-f16-q8_0.gguf2. 建立conda环境 conda create -n llamacpp python 阅读全文

posted @ 2023-11-19 20:18 tommickey 阅读(1505) 评论(0) 推荐(0)

FastGPT, FastAPI 遇到问题：TypeError: issubclass() arg 1 must be a class

摘要：问题：TypeError: issubclass() arg 1 must be a class原因：这是由python中的后端包之一的兼容性问题引起的问题，包“pydantic” 执行下面命令可以解决 python -m pip install -U pydantic spacy 阅读全文

posted @ 2023-11-05 20:00 tommickey 阅读(423) 评论(0) 推荐(0)

# 由于我只能访问hugginface网站，但是不能下载里面的数据，所以编写下面的代码，获取从huggingface下载数据的链接。在从其它路径下载数据。

摘要：# 由于我只能访问hugginface网站，但是不能下载里面的数据，所以编写下面的代码，获取从huggingface下载数据的链接。在从其它路径下载数据。 # 获取huggingface某个模型所有要下载数据的命令行。 # 可以把结果复制到autodl里，进行执行。速度可以达到13M/s # 然后在阅读全文

posted @ 2023-10-24 09:03 tommickey 阅读(387) 评论(0) 推荐(0)

大语言模型LLM推理及训练显存计算方法

摘要：一、推理：显存计算推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位浮点数 4 字节 half / BF16 16位浮点数 2 字节 int8 8位整数 1 字节 int4 4位整数 0.5 字节以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = 阅读全文

posted @ 2023-10-03 20:30 tommickey 阅读(7100) 评论(0) 推荐(1)

安装langchain-chatchat

摘要：1、下载langchain-chatchat git clone https://github.com/chatchat-space/Langchain-Chatchat.git 2、下载llama2-7b-chat-hf git lfs installgit clone https://huggi 阅读全文

posted @ 2023-09-14 22:52 tommickey 阅读(545) 评论(0) 推荐(0)

ubuntu安装cuda

摘要：apt install nvidia-cuda-toolkit nvcc --version nvidia-smi 阅读全文

posted @ 2023-09-14 21:57 tommickey 阅读(33) 评论(2) 推荐(0)

PPT等格式向量化时，可能会需要安装libreoffice。如何安装libreoffice？

摘要：https://www.libreoffice.org/get-help/install-howto PPT等格式向量化时，可能会需要安装libreoffice 阅读全文

posted @ 2023-09-10 21:59 tommickey 阅读(46) 评论(0) 推荐(0)

安装spacy+zh_core_web_sm

摘要：pip install spacy 到github下载zh_core_web_sm-3.6.0-py3-none-any.whl （选择需要的版本：中文： zh_core_web_sm · Releases · explosion/spacy-models (github.com) 英文：en_c 阅读全文

posted @ 2023-09-10 21:39 tommickey 阅读(1977) 评论(0) 推荐(0)

检查torch是否是gpu版本

摘要：检查torch是否是gpu版本 1. 查看PyTorch版本：打开Python交互式环境，导入torch包，使用命令torch.__version__查看PyTorch版本，如果版本名称中包含“cuda”，则表示是GPU版本。例如，如果版本名称为“1.7.0+cu101”，则是支持CUDA 10 阅读全文

posted @ 2023-09-10 21:01 tommickey 阅读(5706) 评论(0) 推荐(0)

如何从huggingface.co上快速下载数据？

摘要：huggingface托管的大模型文件较大，用git拉取需要LFS支持，速度比较慢，也容易断线，需要不断尝试，费时费力。某些模型可以使用镜像网站 https://aliendao.cn 下载，逐个文件下载比较麻烦，如果有python环境，建议用下载器model_download.py下载，下载速度阅读全文

posted @ 2023-09-09 07:25 tommickey 阅读(3117) 评论(1) 推荐(0)

LangChains

摘要：LangChains 是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有 2 个能力：可以将 LLM 模型与外部数据源进行连接&允许与 LLM 模型进行交互。这个库目前非常活跃，每天都在迭代，已经有 22k 的 star，更新速度飞快。基础功能 LLM 调用支持多种模型接口，比如 Open 阅读全文

posted @ 2023-07-25 17:31 tommickey 阅读(72) 评论(0) 推荐(0)

ChatGLM项目启动选项参数

摘要：项目启动选项 usage: langchina-ChatGLM [-h] [--no-remote-model] [--model MODEL] [--lora LORA] [--model-dir MODEL_DIR] [--lora-dir LORA_DIR] [--cpu] [--auto-d 阅读全文

posted @ 2023-06-18 08:37 tommickey 阅读(247) 评论(0) 推荐(0)

huggingface.co快速下载

摘要：方法1：编写一个url.list文件，一次都下载。 wget -i url.list -o [log_file] -P [target_dir] 方法2：编写代码可能并不是好办法。 import datetime import os import threading from huggingfa 阅读全文

posted @ 2023-06-15 16:08 tommickey 阅读(445) 评论(0) 推荐(0)

tommickey的博客园

博客园里文档的平均质量比CSDN文档质量好，而且不用总是要各种限制。所以转到博客园来。

随笔分类 - AI

公告