生物大模型

摘要： flash_attn安装比较麻烦。 方法1：whl安装 检查版本： nvcc -V ldd --version 如果 > 2.32，flash-attn 可以从https://github.com/Dao-AILab/flash-attention/下载编译好的whl包。 注意torch和cuda版 阅读全文

摘要： 你好！很高兴为你解读 LucaOne 这个非常有野心的生物基础模型。它打破了以往核酸（DNA/RNA）和蛋白质模型“各管各的”局面，尝试用一种通用的“生物语言”来统一理解生命系统的核心。 根据你提供的资料，我将从架构、编码和训练三个核心维度为你拆解： 1. 模型架构：改进的 Transformer 阅读全文

摘要： Transformer里面，不管是Type Encoding和position Encoding,都是+上去的，这样的话，其内部是怎么识别到的呢，因为相比CAT，add 把原有的Encoding和加上去的Encoding混淆了 这是一个非常经典的深度学习“直觉陷阱”。你是对的，从算术角度看， 之后你 阅读全文

摘要： 由于你之前看到的 600 GiB 差额巨大，极有可能是某个大文件被删了但进程没关。请执行： lsof / | grep deleted 阅读全文

摘要： 场景 Node2服务器连接了公网，但是Node1和Node3无法连接公网，他们都在一个局域网内。 原理 Node2允许路由转发，Node1和Node3添加路由表，优先把流量转发给Node2 Node2: 在有网的 node002 上开启路由转发，需要取得root权限。 sudo sysctl -w 阅读全文

摘要： HyenaDNA 用CNN HyenaDNA 是由斯坦福大学 Hazy Research 实验室开发的一种专门针对基因组序列设计的深度学习模型。它的核心突破在于解决了传统 Transformer 模型在处理长序列 DNA 时面临的计算瓶颈。 以下是关于 HyenaDNA 的架构设计、输入长度和测试任 阅读全文

摘要： 在基因组建模中，选择 k-mer 而不是 BPE (Byte Pair Encoding) 是一个经过深思熟虑的权衡。针对你提到的 NTv2-250m-Multi 模型，我们来深入分析一下。 一、 为什么不用 BPE？ BPE 在自然语言处理（NLP）中大放异彩，是因为它能灵活处理词根、前缀和后缀。 阅读全文

摘要： 使用 Mamba 安装 VEP 107 (成功率最高方案) conda 的解析引擎在处理 Perl 这种多层嵌套依赖时非常吃力。我们直接使用 Mamba。 conda install -n base -c conda-forge mamba -y 创建 107 专用环境： 这里我们明确指定核心依赖的 阅读全文

摘要： 在https://zhuanlan.zhihu.com/p/1897638897388873200基础上。 前言 Flash-Attention的安装其实并没有那么复杂，网上的帖子有很多，但不够简明扼要。亲测按照以下步骤，大概20min之后就可以安装成功。 要求 CUDA >= 12.0 ；torc 阅读全文

摘要： 对于 scATAC-seq（单细胞染色质可及性测序）数据，将其输入 Transformer 模型时，其 Token 和 句子 的定义与 scRNA-seq（如 scBERT）既有相似之处，也有显著的生物学差异。 在 scATAC-seq Transformer 模型（如 scATAC-BERT 或类 阅读全文