Wuhao' Blogs

摘要： 1. router_logits 是必须要返回的吗，如果不返回router_logits，JambaSparseMoeBlock还是稀疏的吗 router_logits 并不是必须要返回的，但它在 Mixture of Experts (MoE) 模型中的作用是非常关键的。是否返回 router_l 阅读全文

摘要： 要将当前文件夹中的子文件夹上传到你的 GitHub 仓库，你可以按照以下步骤进行操作： 进入你的项目目录： 首先确保你当前位于包含这些子文件夹的目录中。你已经在 scJamba_20240926 目录下，所以无需改变目录。 初始化 Git 仓库（如果还没有的话）： 如果你的项目目录还没有被初始化为一 阅读全文

摘要： Transformer中query、key和value的状态为什么要是 contiguousd值？ 在阅读Transformer模型的相关代码时，会发现query、key和value都会有contiguous()化操作，如下所示： ... query_states = query_states.co 阅读全文

摘要： 精度就是误差，是指我可以很确定就测量出你的水平，准度是指你的真实水平是否达标。 Acceracy 衡量的是预测值和真实值之间的距离（绝对关系），而Precision衡量的是多次测量值之间的距离（相对关系）。利用概率密度图可以更加直观的展现这两者： 引用 “捋一捋 Accuracy 与 Precisi 阅读全文

摘要： .wslconfig配置 [wsl2] processors=8 memory=20GB swap=12GB [experimental] autoMemoryReclaim=gradual sparseVhd=true networkingMode=mirrored dnsTunneling=tr 阅读全文

摘要： conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge pip install torch_scatter-2.0.8-cp39-cp39 阅读全文

摘要： 转载自 解决Windows系统远程登陆后vscdoe无法输入字符，键盘没有反应，鼠标可以点击，没有反应_vscode键盘被锁-CSDN博客 前言 使用vscode编译器时，通过远程登录或者屏幕锁屏解锁后，vscode出现无法输入字符内容，但vscode没有死机，切换到其他软件的窗口再切换回来后，可以 阅读全文

摘要： q## ssh连接的好好的突然出现 Socket error Event: 32 Error: 10053.导致 Xshell 进程断开。 Connection established. To escape to local shell, press 'Ctrl+Alt+]'. Socket err 阅读全文

摘要： lf = lambda x: ((1 + math.cos(x * math.pi / epochs)) / 2) * (1 - lrf) + lrf scheduler = lr_scheduler.LambdaLR(optimizer, lr_lambda=lf) 以下是对这段代码的详细解释： 阅读全文

摘要： 1. GRL.py import load_data from sklearn.model_selection import KFold import numpy as np import random import Model2 as Model from karateclub import Bo 阅读全文