marsggbo

摘要： # 1. Motivation 不同硬件模块之间的带宽和存储空间有明显差异，例如下图中左边的三角图，最顶端的是GPU种的SRAM，它的容量非常小但是带宽非常大，以A100 GPU为例，它有108个流式多核处理器，每个处理器上的片上SRAM大小只有192KB，因此A100总共的SRAM大小是192KB 阅读全文

摘要： 原文：https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ  阅读全文

摘要： Oh-my-zsh主题乱码解决办法是安装 Powerline 字体。 打开终端，参考以下命令安装 Powerline 字体： ```bash cd ~/Downloads && git clone https://github.com/powerline/fonts.git #将 Powerline 阅读全文

摘要： 会议/期刊: ICML 年份: 2022 # 1. Vanilla Transformer Block（MHSA+FFN） 原本的Transformer的Block遵循如下的设计范式：MHSA（多头自注意力）+ 一层或者两层的FFN（全连接层），如下图所示。我们只考虑FFN的话，其数学表达式如下：T 阅读全文

摘要： 参考：https://www.haodf.com/neirong/wenzhang/5754189540.html?flowToken=4d900e3599a358a4061799f8fa8a0f18 阅读全文

摘要： https://github.com/Lightning-AI/forked-pdb import sys import pdb class ForkedPdb(pdb.Pdb): """ PDB Subclass for debugging multi-processed code Suggest 阅读全文

摘要： 如果你有root权限，用下面这行代码一键安装即可： sudo apt install libaio1 libaio-dev 如果没有root权限，步骤如下 下载 libaio git clone https://pagure.io/libaio 安装libaio cd libaio make pre 阅读全文

摘要： 1. 背景 我学校有一台Windows电脑 (x@a.b.c.d)，里面安装了一个Ubuntu虚拟机（用户名为y），虚拟机里连着VPN。并且虚拟机的22端口映射到了主机的22端口。通过这个VPN我可以访问另一个远程的服务器（z@e.f.g.h）用于炼丹。 我现在在家，无法直接访问远程服务器，只能把学 阅读全文

摘要： 前言 操作系统：Ubuntu 22.04 ARM64 1. 安装openconnect-sso 先安装anaconda或者miniconda，然后运行如下命令 conda install -c conda-forge openconnect-sso 2. 解决openssl的bug 安装好后照理来说 阅读全文

摘要： 本文主要参考ColossalAI论文 Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training ColossalAI框架开源提供了本文介绍的所有并行训练: https://github.com/hpca 阅读全文