摘要：
先本地浏览器通过github下载安装脚本：https://raw.githubusercontent.com/nvm-sh/nvm/v0.38.0/install.sh 然后重命名脚本为nvm_install.sh 然后服务器上执行：bash nvm_install.sh --mirror=http 阅读全文
posted @ 2024-11-25 18:23
Shiyu_Huang
阅读(578)
评论(0)
推荐(0)
摘要：
在https://github.com/Dao-AILab/flash-attention/releases找到对应pytorch和cuda版本进行下载whl文件，然后通过pip install xxx.whl进行安装。 阅读全文
posted @ 2024-06-04 14:57
Shiyu_Huang
阅读(3223)
评论(0)
推荐(0)
摘要：
1. 设置tmux配置文件： vim ~/.tmux.conf 填入：set -g mouse on 2. 设置iterm2 勾选红框里面的checkbox 阅读全文
posted @ 2024-05-15 19:33
Shiyu_Huang
阅读(233)
评论(0)
推荐(0)
摘要：
报错：AttributeError: module 'cv2.dnn' has no attribute 'DictValue'。 执行以下命令可以自动修复： pip install opencv-fixer==0.2.5 python -c "from opencv_fixer import Au 阅读全文
posted @ 2024-04-08 18:48
Shiyu_Huang
阅读(3095)
评论(0)
推荐(0)
摘要：
把服务器A的文件传给服务器B: 在服务器A上执行： rsync -avz --progress --stats -e ssh 服务器A上文件夹 服务器B用户名@服务器B的IP:服务器B上保存的地址（确保服务器B上保存的地址存在） 阅读全文
posted @ 2024-04-07 20:22
Shiyu_Huang
阅读(25)
评论(0)
推荐(0)
摘要：
sinfo --states=idle 想进一步查看特定分区下的空闲节点： sinfo --states=idle -p your_partition_name 阅读全文
posted @ 2024-03-18 14:52
Shiyu_Huang
阅读(109)
评论(0)
推荐(0)
摘要：
pytorch不能高于2.0, CUDA版本不能高于11.7 DS_BUILD_FUSED_ADAM=1 pip install deepspeed --no-build-isolation 阅读全文
posted @ 2023-11-29 19:41
Shiyu_Huang
阅读(1499)
评论(0)
推荐(0)
摘要：
如果直接安装不行：sudo apt-get install sshfs -y，在尝试使用手动安装 0. 参考网站：https://github.com/libfuse/sshfs 1. 下载sshfs源码：https://github.com/libfuse/sshfs/releases 2. 解压 阅读全文
posted @ 2023-08-21 21:17
Shiyu_Huang
阅读(730)
评论(0)
推荐(0)
摘要：
import os from pathlib import Path from PyPDF2 import PdfReader, PdfWriter def extract_number_from_filename(path): # 从文件路径中提取文件名（不包括扩展名），然后再从文件名中提取前缀数 阅读全文
posted @ 2023-08-07 00:27
Shiyu_Huang
阅读(164)
评论(0)
推荐(0)
摘要：
启动redis: mac: brew services start redis 查看redis启动信息： mac： brew services info redis 停止redis: brew services stop redis 阅读全文
posted @ 2023-08-01 11:36
Shiyu_Huang
阅读(12)
评论(0)
推荐(0)
摘要：
通过执行chattr -i lib来解决 阅读全文
posted @ 2023-07-24 16:49
Shiyu_Huang
阅读(27)
评论(0)
推荐(0)
摘要：
通过strace df来查看hang在哪个文件夹。 可以通过mount | grep 文件夹名 来查看挂载情况 最后根据实际情况对挂载位置进行修复或者卸载。 阅读全文
posted @ 2023-07-13 11:11
Shiyu_Huang
阅读(49)
评论(0)
推荐(0)
摘要：
rm /var/lib/rpm/__db* rm /var/lib/rpm/.rpm.lock rm /var/lib/rpm/.dbenv.lock 阅读全文
posted @ 2023-07-13 10:38
Shiyu_Huang
阅读(70)
评论(0)
推荐(0)
摘要：
sudo mv /var/lib/rpm/__db* /tmp; sudo rpm --rebuilddb; sudo yum clean all 阅读全文
posted @ 2023-07-13 10:13
Shiyu_Huang
阅读(22)
评论(0)
推荐(0)
摘要：
vim /etc/profile 然后添加一下代码： RED='\033[0;31m' NONE='\033[0m' # reset colour attribues printf "${RED}This is in red ${NONE}\n" 阅读全文
posted @ 2023-06-20 13:45
Shiyu_Huang
阅读(24)
评论(0)
推荐(0)
摘要：
sudo lshw -C display 阅读全文
posted @ 2023-06-13 14:59
Shiyu_Huang
阅读(266)
评论(0)
推荐(0)
摘要：
kill -9 $(ps ax | grep gunicorn | awk '{print $1}') 阅读全文
posted @ 2023-06-13 14:23
Shiyu_Huang
阅读(89)
评论(0)
推荐(0)
摘要：
https://zhuanlan.zhihu.com/p/629853761 阅读全文
posted @ 2023-05-16 15:49
Shiyu_Huang
阅读(82)
评论(0)
推荐(0)
摘要：
git remote add upstream xxxxx 其中upstream可以修改为任何你觉得可以的名字 阅读全文
posted @ 2023-04-28 17:42
Shiyu_Huang
阅读(52)
评论(0)
推荐(0)
摘要：
sudo yum install -y centos-release-scl sudo yum install -y devtoolset-7 如果使用zsh: scl enable devtoolset-7 zsh 如果使用bash: scl enable devtoolset-7 bash 阅读全文
posted @ 2023-04-18 21:31
Shiyu_Huang
阅读(25)
评论(0)
推荐(0)
摘要：
1. 安装ffmpeg、gifsicle： brew install ffmpeg brew install gifsicle 2. 执行转换命令 ffmpeg -i in.mov -pix_fmt rgb8 output.gif && gifsicle -O3 output.gif -o outp 阅读全文
posted @ 2023-04-14 10:58
Shiyu_Huang
阅读(326)
评论(0)
推荐(0)
摘要：
1. 命令行传参, 条件语句 if [[ $1 = "happy" ]]; then echo "I'm happy" else echo "I'm not happy" fi 效果： 阅读全文
posted @ 2023-04-13 11:10
Shiyu_Huang
阅读(46)
评论(0)
推荐(0)
摘要：
git stash git checkout -b new_branch git stash pop git add -A git commit -m "comments" git push 阅读全文
posted @ 2023-04-05 17:11
Shiyu_Huang
阅读(54)
评论(0)
推荐(0)
摘要：
1. 更换163源 https://mirrors.163.com/.help/centos.html 2. 更换中科大源 https://mirrors.ustc.edu.cn/help/centos.html 3. 更换清华源 https://mirrors.tuna.tsinghua.edu. 阅读全文
posted @ 2023-04-04 17:56
Shiyu_Huang
阅读(695)
评论(0)
推荐(0)
摘要：
1. 安装python (可安装任意版本) brew install python@3.9 2. 创建虚拟环境 cd ~ /opt/homebrew/bin/python3.9 -m venv ai3.9 3. 激活虚拟环境 source ~/ai3.9/bin/activate 4. 安装 pip 阅读全文
posted @ 2023-03-28 20:51
Shiyu_Huang
阅读(841)
评论(0)
推荐(0)
摘要：
link: https://blog.csdn.net/weixin_38278993/article/details/100052961 阅读全文
posted @ 2023-03-28 17:07
Shiyu_Huang
阅读(36)
评论(0)
推荐(0)
摘要：
参考： https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html 阅读全文
posted @ 2023-03-22 13:56
Shiyu_Huang
阅读(146)
评论(0)
推荐(0)
摘要：
1. 下载cudnn: https://developer.nvidia.com/rdp/cudnn-download 2. 安装cudnn: https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#installcud 阅读全文
posted @ 2023-03-22 13:52
Shiyu_Huang
阅读(123)
评论(0)
推荐(0)
摘要：
查看Red Hat: cat /proc/version 查看CentOS: cat /etc/redhat-release 阅读全文
posted @ 2023-03-21 21:25
Shiyu_Huang
阅读(103)
评论(0)
推荐(0)
摘要：
解决办法： pip install setuptools==63.2.0 阅读全文
posted @ 2023-03-16 15:14
Shiyu_Huang
阅读(5427)
评论(0)
推荐(1)
摘要：
1. Fine-Tuning Language Models from Human Preferences reward model：774M参数量的GPT-2，先进行了有监督训练 训练loss: 其中r(x,y)代表reward model，x代表输入或者prompt，y代表输出或者reponse 阅读全文
posted @ 2023-03-10 14:51
Shiyu_Huang
阅读(451)
评论(0)
推荐(0)
摘要：
模型名 参数量 模型大小(Pytorch) 训练数据 token长度 网络结构 训练硬件 训练时长 发布时间 来源 发布组织 GPT-2 small:124M medium:355M large:774M XL:1.5B small: 548MB medium:1.52GB large:3.25GB 阅读全文
posted @ 2023-03-06 15:00
Shiyu_Huang
阅读(5376)
评论(0)
推荐(0)
摘要：
以t5-base为例： 储存模型： from transformers import AutoModelForSeq2SeqLM if __name__ == '__main__': model_name = 't5-base' prefix = 'your_path' save_path = pr 阅读全文
posted @ 2023-03-03 21:21
Shiyu_Huang
阅读(627)
评论(0)
推荐(0)
摘要：
以t5-base为例 本地存储： from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('t5-base') tokenizer.save_pretrained('your_path') 本地 阅读全文
posted @ 2023-03-03 20:32
Shiyu_Huang
阅读(1208)
评论(0)
推荐(0)
摘要：
有时候服务器访问不了外网，可以现在可以访问外网的机器上先把数据集给下好，然后传到对应服务器进行加载。 1. 首先下载并存储数据： import datasets dataset = datasets.load_dataset("dataset_name") dataset.save_to_disk( 阅读全文
posted @ 2023-03-03 17:13
Shiyu_Huang
阅读(4764)
评论(0)
推荐(0)
摘要：
control + s进入搜索，然后输入要搜索的字符串，并按下回车键。 按下n查找下一个，按下shift+n查找上一个。 阅读全文
posted @ 2022-11-16 19:19
Shiyu_Huang
阅读(1027)
评论(0)
推荐(0)
摘要：
修改vim /etc/apt/sources.list文件： 中科大源： deb https://mirrors.ustc.edu.cn/ubuntu/ focal main restricted universe multiverse deb https://mirrors.ustc.edu.cn 阅读全文
posted @ 2022-11-09 16:31
Shiyu_Huang
阅读(1362)
评论(0)
推荐(0)
摘要：
# 先删除用户的进程，再删除用户 killall -u 用户名 userdel -r -f 用户名 阅读全文
posted @ 2022-11-08 18:17
Shiyu_Huang
阅读(215)
评论(0)
推荐(0)
摘要：
sudo vim /etc/vim/vimrc 在文件尾部，新建一行，输入：set nu 阅读全文
posted @ 2022-11-08 16:00
Shiyu_Huang
阅读(76)
评论(0)
推荐(0)
摘要：
ln -s 已存在文件 未存在的文件 阅读全文
posted @ 2022-11-08 15:17
Shiyu_Huang
阅读(33)
评论(0)
推荐(0)
浙公网安备 33010602011771号