摘要：安装完ollama后，执行： ollama run qwen2.5vl:7b 后下载qwen2.5vl模型。 安装后可以提供本地服务，配置外部服务需要做如下修改： 1. cd到/etc/systemd/system/目录下，修改ollama.service文件。 2. 增加下面两行配置： [Serv 阅读全文

摘要：1. 在 虾壳 - GitHub下载加速网站 GitHub Proxy加速器 这里获取加速网址。 2. 选择合适加速网址，执行下面命令： export OLLAMA_MIRROR="https://ghproxy.net/https://github.com/ollama/ollama/releas 阅读全文

摘要：之前用LSTM做了个文本分类，这次用Transformer实现相同的功能。 不过这里不再做分词了，而是根据当前学习文本构建字表。 同样也不使用BucketIterator做数据填充，而是先根据句子字符长度排序，然后同一个batch中做字符填充。 最后给了一个测试例子。 import torch im 阅读全文

摘要：注意力机制中MHA，MQA和GQA是三种经典的结构： MHA：每个头有独立的Q、K、V，参数多，模型表现力强，计算成本高。 MQA：所有头共享K和V，每个头有独立的Q，参数少，计算快，但可能牺牲一定的表达能力。 GQA：折中方案，将头分成g组，每组共享K和V，平衡参数和性能。 下图比较好的展示了三种 阅读全文

摘要：这里存四种格式： 1. 只保存模型参数的pth文件。 2. 能在python环境下读取的的模型结构和参数pt文件。 3. 能在c++环境下读取的模型结构和参数pt文件。 4. 能在pytorch环境外被其他框架读取的模型结构和参数onnx文件。 import torch import torch.n 阅读全文