Ray1997

2024年5月26日

摘要： Docker修改默认存储路径 /var/lib/docker https://blog.csdn.net/com542948180/article/details/116792044 docker info vim /etc/docker/daemon.json restart docker sys 阅读全文

posted @ 2024-05-26 23:05 Ray1997 阅读(12) 评论(0) 推荐(0)

python venv

摘要： venv虚拟环境作用 Python 虚拟环境主要是为不同 Python 项目创建一个隔离的环境，每个项目都可以拥有独立的依赖包环境，而项目间的依赖包互不影响； venv 环境下，⽤ pip 安装的包都在安装到了 venv 这个环境下，系统python环境不受任何影响，也就是说， venv环境是专门针阅读全文

posted @ 2024-05-26 22:26 Ray1997 阅读(34) 评论(0) 推荐(0)

本地运行LLaMa3:70b

摘要：主机配置 OS: CentOS Stream 9 RAM: 128 GB CPU: Xeon W2465（16核） GPU: NVIDIA RTX A5000 24GB 安装GPU驱动 First, confirm that your system meets the necessary requi 阅读全文

posted @ 2024-05-26 00:57 Ray1997 阅读(389) 评论(0) 推荐(0)

2024年5月25日

dnf install nodejs on centos

摘要： list dnf modules dnf module list nodejs reset dnf module dnf module reset nodejs enable dnf module dnf module -y enable nodejs:18 specify module versi 阅读全文

posted @ 2024-05-25 18:20 Ray1997 阅读(48) 评论(0) 推荐(0)

2024年5月24日

LLaMa Factory

摘要：文章 https://zhuanlan.zhihu.com/p/695287607 https://blog.yanghong.dev/llama-factory/ https://www.cnblogs.com/lm970585581/p/18140564 https://caovan.com/l 阅读全文

posted @ 2024-05-24 15:23 Ray1997 阅读(69) 评论(0) 推荐(0)

2024年5月23日

Install Docker with GPU Acceleration

摘要：文章 https://medium.com/cyberark-engineering/how-to-run-llms-locally-with-ollama-cb00fa55d5de https://docs.nvidia.com/datacenter/cloud-native/container- 阅读全文

posted @ 2024-05-23 16:00 Ray1997 阅读(31) 评论(0) 推荐(0)

systemctl命令

摘要：文章 https://blog.csdn.net/weixin_43064364/article/details/134531202 https://www.cnblogs.com/wang1001/p/14773566.html https://segmentfault.com/a/1190000 阅读全文

posted @ 2024-05-23 15:42 Ray1997 阅读(8) 评论(0) 推荐(0)

nohup命令

摘要：后台运行命令：nohup nohup命令：nohup是不挂断的意思( no hang up)。如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令忽略所有挂（SIGHUP）信号，可以在你退出帐户/关闭终端之后继续运行相应的进程。该命令的一般格式为： n 阅读全文

posted @ 2024-05-23 15:22 Ray1997 阅读(106) 评论(0) 推荐(0)

2024年5月22日

Run Llama 3 Locally with Ollama and Open WebUI

摘要： Ollama3 install https://dev.to/timesurgelabs/how-to-run-llama-3-locally-with-ollama-and-open-webui-297d https://medium.com/@blackhorseya/running-llama 阅读全文

posted @ 2024-05-22 23:27 Ray1997 阅读(39) 评论(0) 推荐(0)

2024年5月21日

家庭组网

摘要：为何而组网？原本目的仅仅是在家里搭建一台AI主机服务器，用来跑LLM/Deep Learning Model，因为笔记本性能限制，没有Nvidia卡基本跑不动LlaMa3:70b；在下载Ollama/Llama Factory，以及使用GitHub过程中，发现不能「Scientific Inte 阅读全文

posted @ 2024-05-21 23:58 Ray1997 阅读(114) 评论(0) 推荐(0)

公告