2024年6月23日
[本科项目实训] NVIDIA-GPU 显存异常与处理
摘要： 现象描述 在运行程序时，发现torch.cuda.OutOfMemoryError: CUDA out of memory.错误，考虑模型大小远小于所用显卡显存，使用： $ nvidia-smi # 或每隔两秒自动刷新 $ watch -n 2 -d nvidia-smi 进行查看，发现显存占用高且 阅读全文
posted @ 2024-06-23 13:11 yicheng_liu0219 阅读(833) 评论(0) 推荐(0)
[本科项目实训] Hugging Face简介与Git lfs模型下载
摘要： HuggingFace [1] Hugging Face是一个人工智能领域尤其是自然语言处理领域的开源平台，包含数据集、模型、文档、解决方案等内容的分享。由于 LLM 的参数量较大，往往将参数文件托管到该平台并使用 transformers [3] 库进行模型调用。 模型下载 由于项目要求模型本地运 阅读全文
posted @ 2024-06-23 13:11 yicheng_liu0219 阅读(257) 评论(0) 推荐(0)
[本科项目实训] 声明
摘要： 目前，本博客仅用于本科项目实训的过程记录。 由于项目接近尾声，之前考试周复习，做的很多工作并没有写成博客进行展示，因而接下来会有较为集中的博客发布，发布顺序可能与实际过程顺序有一定差异。 阅读全文
posted @ 2024-06-23 13:10 yicheng_liu0219 阅读(15) 评论(0) 推荐(0)
2024年6月22日
[本科项目实训] 基于 FastAPI 和 Vue3 前后端开发框架速览
摘要： to 2024 / 06 / 16 概述 由于项目实训需要将结果以前端的形式的展现出来，我们参考 [0] 的搭建网页端。 由于个人培养方案中对于前后端的知识了解的少之又少，参考了 [1~11] 的博客进行了概念性的理解，组内有专门开发前后端的同学，我主要针对大语言模型及行动库的接口和后端同学进行了交 阅读全文
posted @ 2024-06-22 17:50 yicheng_liu0219 阅读(280) 评论(0) 推荐(0)
[本科项目实训] 行动模拟实现 与 FastAPI 对应交互-V0
摘要： to 2024 / 06 / 16 行动模拟 该项目拟通过大语言模型分析拆解人类描述的任务，自动的调用行动库进行执行并完成内容的汇报。因而需要针对任务对大模型进行微调（比如本项目使用的p-tuning v2），行动模拟即针对微调结果将大模型与行动库进行对接，模拟实际场景下的函数输入输出。 第一步，即 阅读全文
posted @ 2024-06-22 15:39 yicheng_liu0219 阅读(41) 评论(0) 推荐(0)
2024年5月31日
[本科项目实训] P-tuning v2技术介绍, Prompt设计与尝试
摘要： to 2024 / 05 / 13 P-tuning概述 关于 prompt tuning 和 p-tuning 技术有大量的相关博客，我在参考资料中给出对于本项目具有一定启发性的内容并在此做简单总结。 prompt-tuning 为区别于最开始 pre-training + fine-tuning 阅读全文
posted @ 2024-05-31 11:18 yicheng_liu0219 阅读(339) 评论(0) 推荐(0)
2024年5月30日
[本科项目实训] 基于SSH远程访问WSL2（局域网，无内网穿透）
摘要： to 2024 / 05 / 06 目标 使笔记本可以在同一局域网下访问主机的WSL2。 部署环境 HOST-OS: Windows10, WSL2 ( Ubuntu 20.04 ) REMOTE-OS: Windows10 VSCode-EXTENSION: WSL, Remote-SSH 部署过 阅读全文
posted @ 2024-05-30 18:27 yicheng_liu0219 阅读(738) 评论(0) 推荐(0)
2024年5月7日
[本科项目实训] ChatGLM-6B本地部署和P-Tuning微调尝试
摘要： to 2024 / 04 / 22 部署环境 OS: Windows10, WSL2 ( Ubuntu 20.04 ) CPU: Intel(R) Core(TM) i5-12490F GPU: GeForce RTX 4070Ti 部署过程 部署主要参考$[2]$，其中也遇到了一定的问题，记录如下 阅读全文
posted @ 2024-05-07 18:34 yicheng_liu0219 阅读(273) 评论(0) 推荐(0)