随笔分类 -  大模型

使用ms-swift进行指令微调的数据集格式构建（未完全验证）
摘要：![](https://img2024.cnblogs.com/blog/1892439/202504/1892439-20250422102935473-1360929257.png) ![](https://img2024.cnblogs.com/blog/1892439/202504/1892439-20250422103012069-312266153.png) ![](https://i 阅读全文
posted @ 2025-04-22 10:33 Chenyi_li 阅读(823) 评论(0) 推荐(0)
在虚拟环境中安装不同版本的cuda
摘要：export CUDA_HOME=/usr/local/cuda-11.7 export PATH=$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH source ~/.bashrc # 如果你 阅读全文
posted @ 2025-02-11 09:57 Chenyi_li 阅读(153) 评论(0) 推荐(0)
使用国内镜像源
摘要：export HF_ENDPOINT=https://hf-mirror.com pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 阅读全文
posted @ 2025-02-05 09:24 Chenyi_li 阅读(62) 评论(0) 推荐(0)
Pytorch DataLoader整理函数详解【collate_fn】
摘要：转载：https://zhuanlan.zhihu.com/p/667508306 阅读全文
posted @ 2025-01-21 16:41 Chenyi_li 阅读(46) 评论(0) 推荐(0)
第一次指令微调大模型记录
摘要：制作数据集 from sklearn.metrics import accuracy_score, f1_score from sklearn.linear_model import LogisticRegression import datasets import numpy as np impo 阅读全文
posted @ 2024-11-20 11:14 Chenyi_li 阅读(97) 评论(0) 推荐(0)
对比学习的正负对 以及参数设置
摘要：转载：https://blog.csdn.net/chumingqian/article/details/138339481?ops_request_misc=%257B%2522request%255Fid%2522%253A%252239F9C14D-9496-4B47-98DE-481CF29 阅读全文
posted @ 2024-10-24 14:44 Chenyi_li 阅读(31) 评论(0) 推荐(0)
RAG
摘要：转载：https://zhuanlan.zhihu.com/p/715241324 阅读全文
posted @ 2024-10-22 13:40 Chenyi_li 阅读(9) 评论(0) 推荐(0)
huggingface_hub运行输入路径错误
摘要：huggingface_hub.errors.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/onechart_weights_path/'. Use `repo_type` 阅读全文
posted @ 2024-09-27 13:42 Chenyi_li 阅读(1704) 评论(0) 推荐(0)
torchrun 分布式训练报错
摘要：NotImplementedError: Using RTX 3090 or 4000 series doesn't support faster communication broadband via P2P or IB. Please set NCCL_P2P_DISABLE="1" and N 阅读全文
posted @ 2024-09-20 15:11 Chenyi_li 阅读(642) 评论(0) 推荐(0)
torch.distributed.DistNetworkError: The server socket has failed to listen on any local network address. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use).
摘要：解决方案是在torchrun中添加参数--master_port改变master port。且注意这个参数一定要加在要跑的文件即src/entry_point/train.py之前，否则会被忽略。 引用：https://juejin.cn/post/7260668104752775228 我的代码是 阅读全文
posted @ 2024-09-20 14:53 Chenyi_li 阅读(1082) 评论(0) 推荐(0)
如何安装pyproject.toml中的环境包
摘要：1.先安装pipx。 2.然后用pipx安装poetry。 pipx install poetry 3.然后到含有pyproject.toml文件的文件夹下执行 pip install . 如果出现问题可以考虑执行pip install --upgrade pip setuptools进行更新 阅读全文
posted @ 2024-09-03 14:19 Chenyi_li 阅读(2761) 评论(0) 推荐(0)
千问大模型精讲
摘要：https://blog.csdn.net/duxiaodong1122/article/details/138922817 https://blog.csdn.net/qq_60489376/article/details/138817599?spm=1001.2014.3001.5506 阅读全文
posted @ 2024-08-20 17:09 Chenyi_li 阅读(41) 评论(0) 推荐(0)
一文为你深度解析LLaMA2模型架构
摘要：转载：https://juejin.cn/post/7387581960027340850?searchId=2024082010353010978231AFBCF498E743 阅读全文
posted @ 2024-08-20 11:10 Chenyi_li 阅读(68) 评论(0) 推荐(0)
Llama模型源码调试笔记
摘要：Llama基础 Llama是什么？ Llama2是Meta开源发布的大型语言模型。其训练涵盖了庞大的数据集——规模达到2万亿token。Llama1可以处理2048个token，Llama2可以处理4096个token的文本。Llama1和Llama2有同样的模型结构。该系列包含7B、13B及70B 阅读全文
posted @ 2024-08-20 10:04 Chenyi_li 阅读(947) 评论(0) 推荐(0)