Dsp Tian

摘要： 在深度学习中，归一化操作有BN，LN，GN，IN这几种形式，下表给出了各种方法的主要区别： 归一化方法 计算维度 固定维度 适用场景 特点 BatchNorm 沿 (N, H, W) 对每个通道独立计算 Channel 卷积神经网络 依赖批次大小，训练和推理行为不同 LayerNorm 沿 (C, 阅读全文

摘要： onnx对于einsum算子是在opset12之后才支持的，但是有些芯片对于onnx量化的支持只到opset11版本，遇到这种情况可以使用matmul替换einsum。 流程通常是将tensor先view成三维，然后将第一个tensor待消掉维度permute到最后一维，第二个tensor待消掉的维 阅读全文

摘要： 将onnx模型参数从fp32转为fp16，可以减少一半模型大小。 import onnx from onnxconverter_common import float16 model = onnx.load("fp32.onnx") model_fp16 = float16.convert_floa 阅读全文

摘要： 下面实现了深度学习中的几种优化器，包括SGD，Momentum， Nesterov，AdaGrad，RMSProp，AdaDelta，Adam和AdamW。 代码如下： import torch import torch.nn as nn from torchvision import transf 阅读全文

摘要： 有时需要向linux系统scp数据时报出Read-only file system。 可以用下面命令解决： mount -o remount rw /home 阅读全文

摘要： 简单训练了一个模型，可以实现超分辨率效果。模型在这里。 模型用了一些卷积层，最后接一个PixelShuffle算子。 训练数据是原始图像resize后的亮度通道。 标签是原始图像的亮度通道。 损失函数设为MSE。 代码如下： import torch import torch.nn as nn im 阅读全文

摘要： 截止这篇笔记，llama.cpp主分支暂时不支持部署VL模型，需要切到一个分支上编译。部署流程整理自这个帖子。 部署流程如下： 1. 在modelscope上将Qwen2-VL-7B-Instruct下载下来。 2. 下载llama.cpp，需要下载这个分支。 3. 编译llama.cpp，流程和上 阅读全文

摘要： 这里选用Qwen2.5-7B-Instruct做例子，其他LLM类似。 VL用这个流程暂时还不行，不过我看到llama.cpp有在讨论这个问题，我验证了也是可行的，后面整理一下。 这里部署流程如下： 1. 在modelscope上将Qwen2.5-7B-Instruct下载下来。 2. 在ggerg 阅读全文

摘要： 变分自编码器（VAE，Variational Auto-Encoder）是一种生成模型，它通过学习数据的潜在表示来生成新的样本。 在学习潜空间时，需要保持生成样本与真实数据的相似性，并尽量让潜变量的分布接近标准正态分布。 VAE的基本结构： 1. 编码器（Encoder）：将输入数据转换为潜在空间的 阅读全文

摘要： 在做深度学习的时候，尤其是在没有界面的服务器上训练时，可以利用tensorboard工具输出各种曲线或中间图像。 下面代码将曲线和图像输出到run目录下临时文件中。 from tensorboardX import SummaryWriter from PIL import Image import 阅读全文