Dsp Tian

摘要： 写了一个计算距离的脚本，常见距离基本都有。 其中测地距离需要依赖曲面，Hausdorff距离之前有实现，而Wasserstei距离可以用sinkhorn方法求解。 代码如下： import numpy as np def Euclidean(a,b): return np.sqrt(np.sum(( 阅读全文

摘要： 将Transformer引入图像领域之作，学习一下。 网络结构： VIT结构有几个关键的地方： 1. 图像分块：输入图像被划分为固定大小的非重叠小块（patches），每个小块被展平并线性嵌入到一个固定维度的向量中。这里是将32x32的图像划分成4x4的小块，总共会有16个小块，每个小块有64维向量 阅读全文

摘要： 模型蒸馏是指通过训练一个小而简单的模型来复制和学习一个大模型的知识和性能。这种方法通常用于减少模型的计算资源需求，加速推理过程或者使模型适用于资源受限的设备上。 步骤如下： 1. 准备教师模型和学生模型： 教师模型：一个复杂的模型，这里用的是resnet。 学生模型：简化的卷积神经网络，较少的参数和 阅读全文

摘要： Pytorch做训练的时候，可以调整训练学习率。 通过调整合适的学习率曲线可以提高模型训练效率和优化模型性能。 各种学习率曲线示例代码如下： import torch import torch.optim as optim import torch.nn as nn import matplotli 阅读全文

摘要： Sinkhorn算法是为了解决最优传输问题，该问题是给定两个概率分布u和v，找到一个方法，使其从u转换到v的代价最小。 具体到这里是找到了一个转移矩阵。 算法步骤如下： 1. 给定两个概率分布u和v，其中u和v是归一化后数据，维度分别为m和n。 2. 给定矩阵K(m,n)，K=1.0/(m*n)。 阅读全文

摘要： 使用下面命令： ssh-copy-id root@192.168.0.1 登陆服务器，只需要输入一次密码，该命令会把本地公钥拷到服务器上，不需要重复输入密码了。 阅读全文

摘要： 这里用了gensim和jiba分词库，jensim原生是支持英文的，如果想使用中文word2vec，还需要自己训练一下。 中文语料库可以在这里下载：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.b 阅读全文

摘要： tensorflow和tensorboard都正常安装之后。 输入: tensorboard --logdir=results/logs 报出ValueError: Duplicate plugins for name projector错误。 原因可能是命令前没加sudo。 执行: sudo te 阅读全文

摘要： ubuntu系统gcc版本太高导致cuda编译报错，可以手动切换gcc版本： #切换gcc版本 sudo update-alternatives --config gcc #切换g++版本 sudo update-alternatives --config g++ 阅读全文

摘要： DQN是强化学习中的一种方法，是对Q-Learning的扩展。 通过引入深度神经网络、经验回放和目标网络等技术，使得Q-Learning算法能够在高维、连续的状态空间中应用，解决了传统Q-Learning方法在这些场景下的局限性。 Q-Learning可以见之前的文章。 算法的几个关键点： 1. 深 阅读全文