王冰冰

摘要： 0. 前言 最近本人在写硕士大论文，需要写一些GPU相关的内容作为引言，所以在此总结一下。 1. NVIDIA GPU线程管理 CUDA的线程模型如上图，在调用一个CUDA函数时，需要定义grid和block的形状： func<<<grid, block>>>(); 在程序里定义的grid和bloc 阅读全文

摘要： torch.mm 线代的矩阵乘法，要求输入都是矩阵 torch.matmul 注意：torch.mm和torch.matmul不等价 根据输入不同执行不同的操作： 输入都是二维矩阵，矩阵乘法，等同于torch.mm 输入都是一维向量，计算向量内积，等同于torch.dot 第一个参数是向量，第二个是 阅读全文

摘要： 本人网络环境： 设备：联通光猫 + TP-LINK WDR5620路由器 光猫设置：联通光猫自带路由器功能，由光猫负责拨号，光猫获得了/60的IPV6前缀。 TP-LINK路由器设置：TP-LINK的路由器关闭了DHCP，光猫LAN连接TP-LINK的LAN，这样TP-LINK就变成了一个带无线功能 阅读全文

摘要： 本人用docker创建了一个ubuntu:22.04的容器，但是居然无法显示中文，网上的教程都是让你export LANG=zh_CN.UTF-8，但是这没什么卵用 结合https://www.cnblogs.com/BillyLV/p/12658463.html 应当先安装中文语言包 apt up 阅读全文

摘要： 启动命令中加入： -DIReallyKnowWhatIAmDoingISwear 也就是 java -DIReallyKnowWhatIAmDoingISwear -jar xxx.jar 阅读全文

摘要： LLaMA系列用的FFN层现在是SwishGLU，这里Swish是个激活函数，GLU是个线性单元，二者合起来是SwishGLU。 FFN Transformer中原始的FFN长这样： \[FFN(x) = ReLU(xW_1+b_1)W_2+b_2 \]两个线性层中间夹了个relu激活函数 写成模型 阅读全文

摘要： python中类变量是属于类的，不属于具体的对象，所有对象共享一个类变量。类变量可以通过类名.变量名访问，也可以通过实例化后的对象.变量名访问。那么，如果我给对象的变量起的名字和类变量同名会如何？我们写代码测试一下： class Foo: name = "hello" # <- 类变量 def se 阅读全文

摘要： 在使用Openssh > 7.8版本生成私钥时，默认的私钥格式是OPENSSH格式，而低版本是RSA格式，这导致部分旧版的ssh应用无法识别新的私钥。 OPENSSH格式开头： BEGIN OPENSSH PRIVATE KEY 旧版的RSA格式开头： BEGIN RSA PRIVATE KEY 我 阅读全文

摘要： 1. SGD 随机梯度下降（stochastic gradient descent，SGD） 输入数据为(x, y)组成的pair，模型参数是\(W\)，随机选择一批样本组成一个batch，输入模型计算loss：\(L=f(X, Y;W)\)，并求出梯度，更新参数时： \(W=W-lr*\frac{ 阅读全文

摘要： 某司的专用虚拟网络是用的思科公司的anyconnect，我在docker中安装他，以免干扰我的环境。 步骤： 拉取docker镜像 docker pull ubuntu 运行docker容器 docker exec -itd --cap-add NET_ADMIN --privileged --na 阅读全文