小kk_p - 博客园

2024年7月

摘要：可行： https://zhuanlan.zhihu.com/p/702060624 https://zhuanlan.zhihu.com/p/692417348 https://blog.csdn.net/weixin_43564783/article/details/131869748 阅读全文

posted @ 2024-07-05 11:54 小kk_p 阅读(14) 评论(0) 推荐(0)

nccl的安装教程

摘要： https://blog.csdn.net/Scenery0519/article/details/128081062 nccl-test的测试：https://blog.csdn.net/MrKingloveyou/article/details/136074767 nccl2的调用案例：http 阅读全文

posted @ 2024-07-03 14:13 小kk_p 阅读(266) 评论(0) 推荐(0)

batchNorm和 layerNorm的区别

摘要： Layer Normalization（层归一化）和 Batch Normalization（批量归一化）都是深度学习中常用的归一化技术，用于加速训练过程和改善模型性能。它们的主要区别在于归一化的方式和应用的场景。 Batch Normalization（批量归一化）：归一化方式：Batch No 阅读全文

posted @ 2024-07-01 17:55 小kk_p 阅读(1251) 评论(0) 推荐(0)

2024年6月

Langchain-Chatchat 接入 glm4

摘要： llm的接入： https://blog.csdn.net/orientharp/article/details/139884688 embedding模型的接入： https://inference.readthedocs.io/zh-cn/latest/models/builtin/embedd 阅读全文

posted @ 2024-06-28 18:09 小kk_p 阅读(244) 评论(0) 推荐(0)

xinference的部署文档

摘要： https://inference.readthedocs.io/zh-cn/latest/models/builtin/llm/glm4-chat.html#model-spec-1-pytorch-9-billion 阅读全文

posted @ 2024-06-28 10:45 小kk_p 阅读(86) 评论(0) 推荐(0)

VQGAN的介绍

摘要： https://zhuanlan.zhihu.com/p/692383624 阅读全文

posted @ 2024-06-28 00:40 小kk_p 阅读(66) 评论(0) 推荐(0)

大模型常见面试题 - 常用微调方法LORA和Ptuning的原理

摘要： https://blog.csdn.net/sinat_37574187/article/details/137842571 阅读全文

posted @ 2024-06-26 13:46 小kk_p 阅读(267) 评论(0) 推荐(0)

cross attention的源码实现，并代码详细讲解

摘要： import numpy as np def softmax(x, axis=-1): """Softmax函数，用于计算注意力权重""" e_x = np.exp(x - np.max(x, axis=axis, keepdims=True)) return e_x / e_x.sum(axis= 阅读全文

posted @ 2024-06-23 16:49 小kk_p 阅读(4529) 评论(0) 推荐(0)

为什么有些softmax公式需要减去输入中的最大值

摘要： https://blog.csdn.net/weixin_38314865/article/details/107568686 阅读全文

posted @ 2024-06-22 22:49 小kk_p 阅读(13) 评论(0) 推荐(0)

ubuntu离线安装 Docker / Docker-compose

摘要： https://www.cnblogs.com/atuotuo/p/9272368.html 阅读全文

posted @ 2024-06-19 15:35 小kk_p 阅读(17) 评论(0) 推荐(0)

公告