摘要：
问题1 20240708 安装flash_attn 1.0.4时报错： ImportError: cannot import name 'packaging' from 'pkg_resources' (/home/mang/micromamba/envs/py39_scgpt/lib/python 阅读全文
posted @ 2024-07-08 18:14
wuhaoliu
阅读(103)
评论(0)
推荐(0)
摘要：
这段文字详细描述了Geneformer模型的预训练和性能优化策略。预训练是一种常用的机器学习技术，特别是在处理大规模数据集时。以下是对这段描述的详细解释： 预训练方法 使用掩蔽学习目标： 预训练采用了掩蔽学习目标（masked learning objective），这是一种在其他信息领域已证明能提 阅读全文
posted @ 2024-06-28 16:19
wuhaoliu
阅读(56)
评论(0)
推荐(0)
摘要：
Genecorpus-30M 的大规模单细胞转录组数据集中，行特征和列特征的具体内容，以及如何利用这些数据支持生物学和医学研究： 行特征属性（Row Feature Attributes） 包括 Ensembl 注释信息：基因的 ID、ID 版本（如果原始研究提供）、名字和类型（如蛋白编码、micr 阅读全文
posted @ 2024-06-28 16:15
wuhaoliu
阅读(131)
评论(0)
推荐(0)
摘要：
这段文字描述了名为“Geneformer”的神经网络模型的架构和预训练细节。Geneformer是一个基于Transformer编码器单元的模型，广泛应用于基因表达数据分析。以下是对这段描述的详细解释： Geneformer架构 六个Transformer编码器单元： Geneformer包含六个T 阅读全文
posted @ 2024-06-28 16:12
wuhaoliu
阅读(142)
评论(0)
推荐(0)
摘要：
这段话详细描述了Geneformer模型如何处理单细胞转录组数据，并展示了其在不同实验和应用中的表现和优势。以下是逐段解释： Embedding of Genes: 对于每个输入的单细胞转录组数据，Geneformer模型将每个基因嵌入到256维空间中，这些嵌入表示基因在特定细胞环境中的特征。 Te 阅读全文
posted @ 2024-06-28 00:56
wuhaoliu
阅读(60)
评论(0)
推荐(0)
摘要：
大模型训练为何使用 rank value 而不使用原始的测序表达值？ Although the rank-based representation has limitations including not fully taking advantage of the precise gene exp 阅读全文
posted @ 2024-06-27 21:58
wuhaoliu
阅读(35)
评论(0)
推荐(0)
摘要：
1. 下载nccl的deb安装包： 下载地址：NVIDIA Collective Communications Library (NCCL) | NVIDIA Developer 下载对应版本的文件 2. 解压安装： sudo dpkg -i nccl-local-repo-ubuntu2004-2 阅读全文
posted @ 2024-06-25 15:49
wuhaoliu
阅读(130)
评论(0)
推荐(0)
摘要：
参考：www.cnblogs.com/chouxianyu/… 情况说明： Vscode执行代码后，程序所占用显存未得到释放，导致无法运行其他程序。 （占用7号GPU的进程是我的另外一个进程，与本文讨论的问题无关。） 解决办法： 1. 定位占用GPU显存的PID fuser -v /dev/nvid 阅读全文
posted @ 2024-06-25 09:37
wuhaoliu
阅读(79)
评论(0)
推荐(0)
摘要：
转载自: www.cnblogs.com/fireinstone… 使用DDP时出现错误，但是单卡跑无错误。 错误记录如下： RuntimeError: Expected to have finished reduction in the prior iteration before startin 阅读全文
posted @ 2024-06-17 21:50
wuhaoliu
阅读(205)
评论(0)
推荐(0)
摘要：
使用说明 曾经用于系统盘的硬盘进行数据迁移后，盘内会存在EFI系统分区和恢复分区，默认情况下是无法在磁盘管理中进行删除的。 如果希望将这个盘以后作为数据盘使用，可以通过一些操作处理掉相关分区。 其实本质上就是重置分区ID后删除分区。 重置分区ID后删除分区的步骤： 第一步 #### 第二步 第三步 阅读全文
posted @ 2024-06-14 12:25
wuhaoliu
阅读(63)
评论(0)
推荐(0)
浙公网安备 33010602011771号