Geneformer为什么使用 rank value？

大模型训练为何使用 rank value 而不使用原始的测序表达值？

Although the rank-based representation has limitations including not fully taking advantage of the precise gene expression measurements provided in transcript counts, the rank value encoding provides a non-parametric representation of the transcriptome of each single cell and takes advantage of the many observations of the expression of each gene across Genecorpus-30M to prioritize genes that distinguish cell state.

这句话讨论了基于排名的基因表达数据表示方法的优缺点。这种表示方法在处理单细胞转录组数据时使用排名值编码（rank value encoding），但这种方法并非没有限制。以下是对这句话的逐句解释：

1. 开头部分

• Although the rank-based representation has limitations：尽管基于排名的数据表示法有其局限性。这里的“局限性”可能指的是该方法不能完全利用所有可用的数据信息。

2. 局限性具体描述

• including not fully taking advantage of the precise gene expression measurements provided in transcript counts：这些局限性包括没有充分利用转录本计数提供的精确基因表达测量数据。在单细胞转录组分析中，原始的转录本计数可以提供关于基因活动水平的详细和精确信息。基于排名的表示法可能无法完全捕捉这些细节，因为它通过相对排名而不是实际表达水平来表示数据。

3. 排名值编码的优点

• the rank value encoding provides a non-parametric representation of the transcriptome of each single cell：然而，排名值编码为每个单细胞的转录组提供了一种非参数化的表示方法。这意味着该方法不依赖于假设特定的数据分布模型，而是通过相对排名来捕捉和表示数据，这在某些统计分析中是有优势的。

4. 利用大量观测数据的优势

• and takes advantage of the many observations of the expression of each gene across Genecorpus-30M to prioritize genes that distinguish cell state：并且利用 Genecorpus-30M 中每个基因表达的大量观察数据来优先处理能够区分细胞状态的基因。这表明，通过分析在大规模数据集（如 Genecorpus-30M）中的基因表达模式，排名值编码能够识别出那些在不同细胞类型或状态中表达差异显著的基因，从而有助于标识和区分细胞的生物学状态。

综合理解

这段描述在强调基于排名的表示法虽然无法完全利用转录本计数的所有精确信息，但其为数据提供了有效的非参数化表示，并能有效利用大数据集中的表达信息来揭示对细胞状态具有重要区分作用的基因。这种方法在简化数据的同时，也保留了对生物学功能和状态具有关键指示意义的信息。

Specifically, this method will deprioritize ubiquitously highly expressed housekeeping genes by normalizing them to a lower rank. Conversely, genes such as transcription factors that may be expressed at low levels when they are expressed but have a high power to distinguish cell state will move to a higher rank within the encoding (Extended Data Fig. 1c). Furthermore, this rank-based approach may be more robust against technical artefacts that may systematically bias the absolute transcript counts value whereas the overall relative ranking of genes within each cell remains more stable.

这句话详细阐述了基于排名的方法如何有效处理不同类型基因的表达数据，并说明了其在减少技术偏差方面的潜在优势。下面是对这句话的逐句解释：

1. 对于普遍高表达的基因的处理方式

• Specifically, this method will deprioritize ubiquitously highly expressed housekeeping genes by normalizing them to a lower rank.
  • 特别地，指的是这种方法的具体操作。
  • This method will deprioritize：这种方法将降低某些基因的优先级。
  • ubiquitously highly expressed housekeeping genes：普遍高表达的保守基因，这些基因在几乎所有细胞类型中都保持高水平的表达，通常参与基本的生物细胞功能。
  • by normalizing them to a lower rank：通过将它们标准化到较低的排名。这意味着在分析数据时，这些基因的表达水平的重要性会被降低，因为它们对区分细胞状态的贡献较小。

2. 对于表达水平低但具有高区分力的基因的处理方式

• Conversely, genes such as transcription factors that may be expressed at low levels when they are expressed but have a high power to distinguish cell state will move to a higher rank within the encoding.
  • Conversely：相反地，指出与前述内容相对的情况。
  • genes such as transcription factors：例如转录因子这类基因，它们在特定条件下表达水平可能不高。
  • that may be expressed at low levels：可能表达水平较低。
  • but have a high power to distinguish cell state：但具有很强的区分细胞状态的能力。
  • will move to a higher rank within the encoding：在编码中将被赋予更高的排名。这意味着尽管这些基因的绝对表达水平可能较低，但由于它们在生物学上的重要性，它们在数据分析中的优先级会被提高。

3. 方法对抗技术偏差的鲁棒性

• Furthermore, this rank-based approach may be more robust against technical artefacts that may systematically bias the absolute transcript counts value whereas the overall relative ranking of genes within each cell remains more stable.
  • Furthermore：此外，引入进一步的讨论。
  • this rank-based approach：这种基于排名的方法。
  • may be more robust against technical artefacts：可能对技术偏差更为鲁棒，即该方法能较好地抵抗可能影响数据质量的技术误差。
  • that may systematically bias the absolute transcript counts value：这些技术误差可能系统性地偏移了绝对的转录本计数值。
  • whereas the overall relative ranking of genes within each cell remains more stable：而每个细胞内基因的总体相对排名则保持更加稳定。这表明排名方法减少了对绝对数值的依赖，转而侧重于基因之间的相对重要性，这使得数据分析结果对于实验条件下的变化不那么敏感。

这段描述揭示了基于排名的数据表示方法在生物信息学数据分析中的应用，特别是如何通过调整基因的相对重要性来提高数据处理的准确性和鲁棒性。