小kk_p - 博客园

2024年7月

摘要： Layer Normalization（层归一化）和 Batch Normalization（批量归一化）都是深度学习中常用的归一化技术，用于加速训练过程和改善模型性能。它们的主要区别在于归一化的方式和应用的场景。 Batch Normalization（批量归一化）：归一化方式：Batch No 阅读全文

posted @ 2024-07-01 17:55 小kk_p 阅读(1230) 评论(0) 推荐(0)

2024年6月

Langchain-Chatchat 接入 glm4

摘要： llm的接入： https://blog.csdn.net/orientharp/article/details/139884688 embedding模型的接入： https://inference.readthedocs.io/zh-cn/latest/models/builtin/embedd 阅读全文

posted @ 2024-06-28 18:09 小kk_p 阅读(236) 评论(0) 推荐(0)

xinference的部署文档

摘要： https://inference.readthedocs.io/zh-cn/latest/models/builtin/llm/glm4-chat.html#model-spec-1-pytorch-9-billion 阅读全文

posted @ 2024-06-28 10:45 小kk_p 阅读(81) 评论(0) 推荐(0)

VQGAN的介绍

摘要： https://zhuanlan.zhihu.com/p/692383624 阅读全文

posted @ 2024-06-28 00:40 小kk_p 阅读(62) 评论(0) 推荐(0)

大模型常见面试题 - 常用微调方法LORA和Ptuning的原理

摘要： https://blog.csdn.net/sinat_37574187/article/details/137842571 阅读全文

posted @ 2024-06-26 13:46 小kk_p 阅读(262) 评论(0) 推荐(0)

cross attention的源码实现，并代码详细讲解

摘要： import numpy as np def softmax(x, axis=-1): """Softmax函数，用于计算注意力权重""" e_x = np.exp(x - np.max(x, axis=axis, keepdims=True)) return e_x / e_x.sum(axis= 阅读全文

posted @ 2024-06-23 16:49 小kk_p 阅读(4357) 评论(0) 推荐(0)

为什么有些softmax公式需要减去输入中的最大值

摘要： https://blog.csdn.net/weixin_38314865/article/details/107568686 阅读全文

posted @ 2024-06-22 22:49 小kk_p 阅读(12) 评论(0) 推荐(0)

ubuntu离线安装 Docker / Docker-compose

摘要： https://www.cnblogs.com/atuotuo/p/9272368.html 阅读全文

posted @ 2024-06-19 15:35 小kk_p 阅读(17) 评论(0) 推荐(0)

TVM与TensorRT部署性能对比

摘要： https://zhuanlan.zhihu.com/p/390510404 阅读全文

posted @ 2024-06-18 14:19 小kk_p 阅读(42) 评论(0) 推荐(0)

vqgan的报错问题解决（cusolver error: CUSOLVER_STATUS_INTERNAL_ERROR, when calling `cusolverDnCreate(handle)）

摘要： https://github.com/nerdyrodent/VQGAN-CLIP/issues/164 阅读全文

posted @ 2024-06-12 13:40 小kk_p 阅读(435) 评论(0) 推荐(0)

公告