摘要: 知乎 cat /usr/local/cuda/version.txt # 显示结果:CUDA Version 10.0.130 # CUDA 10.0 conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorc 阅读全文
posted @ 2021-11-23 10:42 zae 阅读(2714) 评论(0) 推荐(0)
摘要: 思路很简单:把 LLaVA 的所有参数 requires_grad=False,只训练你自己的模块(比如 mask 头)。下面给出几种常见写法,任选其一。 冻结整个 LLaVA(vision + projector + language model) def freeze_llava(llava): 阅读全文
posted @ 2025-11-07 02:47 zae 阅读(4) 评论(0) 推荐(0)
摘要: jupyter notebook远程访问 在服务器上配置jupyter, 方便我们远程登录. 第一步:安装jupyter, pip3 install jupyter (此处使用的是python3) 第二步:生成配置文件jupyter notebook --generate-config 第三步:生成 阅读全文
posted @ 2025-11-04 22:53 zae 阅读(6) 评论(0) 推荐(0)
摘要: \usepackage{soul} \hl{text_highlighted} ref 阅读全文
posted @ 2025-08-11 21:56 zae 阅读(7) 评论(0) 推荐(0)
摘要: python的函数名是变量,函数体不是。 类的内部的变量和函数名都是变量 import一个包,相当于import了这个包里的__init__.py import语句其实就是扩展了很多python,加挂了无限多的长度:它们的地位一样,都会被执行和调用。 from xx import yy,xx也会被完 阅读全文
posted @ 2025-07-16 22:49 zae 阅读(6) 评论(0) 推荐(0)
摘要: top_k + top_p 的作用 🎯 场景设置 我们设某个语言模型在某个时间步要生成下一个 token,它预测的下一个 token 的概率分布如下: Token 概率 "Hello" 0.30 "Hi" 0.20 "Hey" 0.15 "Good" 0.10 "Yo" 0.08 "Greetin 阅读全文
posted @ 2025-07-15 11:39 zae 阅读(53) 评论(0) 推荐(0)
摘要: pc1安装torch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 vllm(未经确认是pc几) 必须确认是否使用了自己安装的环境: source ~/minic 阅读全文
posted @ 2025-06-12 17:00 zae 阅读(231) 评论(0) 推荐(0)
摘要: 知乎转侵删 >>> str="""<|im_start|>system\n{system}<|im_end|>\n \ ... <|im_start|>user\n{query1}<|im_end|>\n<|im_start|> \ ... assistant\n{response1}<|im_en 阅读全文
posted @ 2025-03-27 11:59 zae 阅读(30) 评论(0) 推荐(0)
摘要: 查看文件大小: du -sh * 单个文件: ls -lh 对文件计数: ls data/*.json | wc -l 阅读全文
posted @ 2024-11-25 00:56 zae 阅读(12) 评论(0) 推荐(0)
摘要: 软件工具备份 latex画表格: https://www.latex-tables.com/ 阅读全文
posted @ 2023-05-08 12:16 zae 阅读(14) 评论(0) 推荐(0)
摘要: 信息量 熵:对所有可能事件所带来的信息量求期望 交叉熵:衡量两个分布更相似否?(在大小上,类似于点积) 它主要刻画的是实际输出(概率)与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。 参考文献 引言 在使用pytorch深度学习框架,计算损失函数的时候经常会遇到这么一个函数: 阅读全文
posted @ 2022-10-09 21:11 zae 阅读(422) 评论(0) 推荐(0)