Dsp Tian

摘要： pytorch中的动态量化和静态量化是两种主要的模型量化技术，旨在通过使用低精度数据类型（如 int8）代替高精度数据类型（如 float32）来减小模型大小并加速推理。 动态量化：在模型运行时（推理时）动态计算激活（activations）的量化参数（scale 和 zero_point）。权重（ 阅读全文

摘要： 在cmake构建完成后想要执行一些命令或脚本。 可以使用下面代码，这里对生成的bin做了strip操作，减少占用空间。 add_custom_command( TARGET ${PROJECT_NAME} POST_BUILD COMMAND strip exe.bin ) 阅读全文

摘要： 执行下面命令： git shortlog -sn 阅读全文

摘要： 可以尝试执行下面命令： export HF_ENDPOINT=https://hf-mirror.com 阅读全文

摘要： 在做深度学习时，很多任务backbone是不需要完全重新训练的，使用预训练权重能够加快收敛，并且性能更好。 下面使用了torchvision中的efficientnet_b0网络，网络默认会生成原图1/32大小特征图后进分类器，这里截断到生成1/16大小的特征图部分，后面可以根据需求增加新的结构。 阅读全文

摘要： 1. 找到这个文件：C:\Users\xxx\AppData\Roaming\Code\User\settings.json 2. 增加下面配置，其中py310是conda环境： "terminal.integrated.profiles.windows": { "cmder": { "path": 阅读全文

摘要： 安装完ollama后，执行： ollama run qwen2.5vl:7b 后下载qwen2.5vl模型。 安装后可以提供本地服务，配置外部服务需要做如下修改： 1. cd到/etc/systemd/system/目录下，修改ollama.service文件。 2. 增加下面两行配置： [Serv 阅读全文

摘要： 1. 在 虾壳 - GitHub下载加速网站 GitHub Proxy加速器 这里获取加速网址。 2. 选择合适加速网址，执行下面命令： export OLLAMA_MIRROR="https://ghproxy.net/https://github.com/ollama/ollama/releas 阅读全文

摘要： 之前用LSTM做了个文本分类，这次用Transformer实现相同的功能。 不过这里不再做分词了，而是根据当前学习文本构建字表。 同样也不使用BucketIterator做数据填充，而是先根据句子字符长度排序，然后同一个batch中做字符填充。 最后给了一个测试例子。 import torch im 阅读全文

摘要： 注意力机制中MHA，MQA和GQA是三种经典的结构： MHA：每个头有独立的Q、K、V，参数多，模型表现力强，计算成本高。 MQA：所有头共享K和V，每个头有独立的Q，参数少，计算快，但可能牺牲一定的表达能力。 GQA：折中方案，将头分成g组，每组共享K和V，平衡参数和性能。 下图比较好的展示了三种 阅读全文