文献阅读笔记|将H&E图像转换为虚拟免疫组化图像的病理学工具|Accelerating histopathology workflows with generative AI-based virtually multiplexed tumour profiling

论文链接：https://doi.org/10.1038/s42256-024-00889-5
论文信息：发表于Nature Machine Intelligence。2023年12月4日投稿，2024年7月29日接收，2024年9月9日online

Abstract
Introduction
Results
Discussion
撰写本博客参考过的链接

Abstract

1、开发VirtualMultiplexer：输入HE染色病理图像，可生成含多种抗体标记物的多重免疫组化图像。在此过程中，无需连续组织切片/图像完全配准/医生标注
2、评估：
（1）定性和定量评估图像合成质量：文中用了Thorough qualitative and quantitative assessment indicates that the VirtualMultiplexer achieves rapid, robust and precise generation of virtually multiplexed imaging datasets of high staining quality that are indistinguishable from the real ones。值得借鉴，indistinguishiable这个词就很巧妙
（2）无需微调，模型可成功应用于外部数据集和其他组织
（3）合成图像可用于各种下游任务，具有实用价值和临床意义

Introduction

1、从HE染色病理图像合成多重免疫组化（IHC）染色图像的意义

绪论第一段：这件事值得做，而且其他解决方案有重要缺点
1、实际操作时，耗时
2、实际操作时，会用不同的抗体标记物对病理切片进行反复染色，但是由于组织消耗，连续IHC染色易产生未对齐图像、某些染色缺失、或因人为因素染色质量欠佳
3、可能解决方案有缺点：多重成像技术可以同时量化数十种标记物，但是具有高成本、实验过程繁琐、破坏组织、需要专业设备等缺点

2、虚拟染色

绪论第二段：虚拟染色简介，配对模型简介-研究举例-缺陷，不配对模型简介-研究举例
绪论第三段：不配对模型基于CycleGAN的缺陷-可能解决方法及其缺点-提出需求（our work）
绪论第四段：关于虚拟染色图像的评估，我感觉是在介绍这篇文章里做一系列定量、定性和下游任务评估的原因和意义

【1】含义介绍

先简单介绍了虚拟染色：虚拟染色模型在训练时会利用两组图像，分别是源图像集和目标图像集，学习从源图像到目标图像的映射，从而能够模拟目标染色结果

【2】配对模型

（1）简单介绍：最初的虚拟染色模型往往是基于配对数据集的GAN，从而直接优化源图像和目标图像之间的像素级损失
（2）列举若干文献：值得借鉴的简洁表达：Successful examples of paired models include translating ..., ..., ...
（3）指出配对模型的缺陷：1-图像配准耗时&易错；2-as tissue architecture largely alters after the first slices, retrospective addition of new markers is impossible（不是病理科的，这个点暂时没看懂什么意思）

【3】不配对模型

（1）承上启下：为避免配对模型的诸多缺陷（to circumvent these limitations），最近出现了不配对模型
（2）列举若干文献：, with early applications in translating ...
（3）大多基于CycleGAN，少数使用额外约束
（4）CycleGAN用于虚拟染色最大的痛点：循环一致性损失默认源域和目标域存在双射映射，然而这对具有不可靠性的染色过程而言并不成立
（5）解决痛点？针对以上痛点，有人采用专家注释来指导生成，但是仅适用于特定合成任务，对于多重任务并不适用，甚至有些单任务对专家而言也是难题（识别p53+细胞？）
（6）展露需求：特！别！需！要！无需连续组织切片&图像配准&专家注释的不配对模型

【4】虚拟图像评估

（1）由于源域和目标域图像不是像素级对齐，因此不使用像素级的评估指标，而是使用高维特征级别的评估（FID）
（2）类似FID的评估指标无法评估合成图像在生物学上的意义和准确性，需要定性评估（医生评图），但是合成图像上出现的一些很像真实的artifacts即使是经验丰富的医生也未必能辨认，令人担心
（3）最终，需要更多下游任务去验证合成图像的临床实用性

3、本文工作——VirtualMultiplexer

绪论第五段：our work——VirtualMultiplexer

Results

1、VirtualMultiplexer is a virtually multiplexed staining toolkit【模型中重要设计的介绍】

1、unpaired translation
2、每张图像分成patches
3、每个IHC marker用独立模型训练
4、多尺度学习，共同优化三个尺度的所有loss
大——>小：
Global consistency loss：

使用训练好（frozen）的特征提取器F
L_content：真实HE图像&虚拟IHC图像的内容一致性（使用F最终特征）
L_style：真实IHC图像&虚拟IHC图像的风格一致性（使用F多级特征）

Neighborhood consistency loss：

L_adv：对抗损失
L_contrastive：patch-wise，multilayer，使用生成器的编码器部分（G_enc）【用这个损失要把图分patches】，希望真实HE图像和

——————————————————————————————————————————
【补充】：Real——G——Virtual——G——Real'
CycleGAN的循环一致性损失：计算Real和Real'（Real输入G后的输出和 Virtual输入G后的输出）之间的loss。但是这要求Real和Virtual的两个域之间是双射

CycleGAN的loss：adversarial loss, consistency loss, identity loss

Unsupervised Cross-Domain Image Generation(ICLR2017)的constractive loss：计算Real输入G的encoder后的输出与 Virtual输入G的encoder后的输出之间的loss，而且是多级输出之间的loss【希望生成器的编码器部分对原图和目标图像的语义信息表征一致】；identity loss也相应变成计算Virtual 与 Virtual输入G的encoder后的输出之间的loss

Unsupervised Cross-Domain Image Generation的loss：adversial loss, contrastive loss, identity loss

对比学习：图分patches后，每个源图像中的query patch，与目标图像中的positive patch相似度高，与negtive patch相似度低。演变成，经生成器的编码器部分提取特征后，query向量和postive向量的相似度标记为1，query向量和negtive向量的相似度标记为0，按照设定，求交叉熵损失
———————————————————————————————————————————

Local consistency loss：
由医生标注获得先验知识

L_cellDisc：细胞级别上的风格一致性（Real or Virtual）
L_cellClass：细胞级别上的染色状态一致性（染色+ or -）

2、评估模型表现【合成质量】

【1】定量指标

与4个基线模型对比：CycleGAN、CUT、CUT with KIN、AIFFPE
指标：FID、对比结构相似性得分（Contrast-structure similarity score）
VirtualMultiplexer均取得最好成绩

【2】病理学专家评估

（1）真假

4名专家
针对每个IHC marker，随机抽100个patches（50真50假），让专家判断real or virtual
*这里它文中只写了sen和spe的均值，都接近random，没写acc or AUC；图里画的是以下4指标RR=real as real; RV=real as virtual; VR=virtual as real; VV=virtual as virtual【以后可借鉴，类似展示结果的方法】

（2）染色质量

针对每个IHC marker，随机抽100个patches（50真50假），告诉专家真假，让专家进行染色质量评估，从五个方面：overall expression levels, background, staining pattern, cell type specificity and subcellular localization【有具体条目，才方便分析&解读结果】

【3】定性观察

分析&描述了similarity patterns & certain discrepancies

【4】针对模型各个loss的消融实验

3、评估模型在成像尺度上的转移效果（组织微数组TMA——>全切片WSI）【泛化性】

测试：5 out-of-distribution（相对于TMA训练集） Whole-slide images(WSIs)

4、评估合成图像的临床预测效能【临床意义】

略，待之后填坑

5、评估模型对other patient cohorts和other cancer types的转移效果【泛化性】