Dream

摘要： DiffVP 面向大语言模型驱动的胸部 CT 报告生成，核心思想是引入正常 CT 作为视觉参考，显式建模患者 CT 相对于正常状态的语义差异。方法首先将目标 CT 与正常参考映射到统一的视觉语义空间，再分别提取全局结构差异和局部异常差异，并将这些差异转换为视觉提示，引导 LLM 更关注具有诊断价值的信息。实验结果表明，DiffVP 在两个胸部 CT 数据集上均取得了更好的报告生成性能和临床异常识别能力，同时对随机正常参考具有较好的稳定性。该方法无需精确病灶标注，为三维医学影像报告生成提供了一种基于“正常—异常”对比的新思路。 阅读全文

摘要： 本研究提出一种新的多智能体临床诊断（Multi-Agent Clinical Diagnosis, MACD）框架。该框架使 LLM 能够通过一条多智能体流水线实现临床知识的自我学习：该流水线对诊断洞见进行总结、精炼并加以应用，从而模拟人类医师的职业成长过程。我们进一步将其扩展为 MACD—人类协作工作流：在该工作流中，多个基于 LLM 的诊断医生智能体开展迭代式会诊；当无法达成一致意见时，在裁决智能体（judge agent）与人类监督的支持下推进决策。结果表明，MACD 能显著提升主要诊断准确率，其性能相较于既有的权威知识最高提升 22.4%，相较于 GPT-5 的最高提升为 15.8%。此外，MACD—人类工作流相较于仅由医师诊断可获得 18.3% 的提升，展示了人类—人工智能协作的协同潜力。值得注意的是，自学习得到的知识表现出较强的跨模型稳定性、跨 LLM 的可迁移性，以及面向特定模型的个性化能力。该系统还可生成可追溯的诊断推理依据，从而提升透明度与可解释性。 阅读全文

摘要： 深度神经网络虽然表现出优异的性能，但其不透明性限制了其在需要透明度和人工监管的高风险领域中的应用。概念瓶颈模型(Concept Bottleneck Models, CBMs)通过引入一个人类可理解的概念层来连接输入与决策，从而解决了这一差距，实现了语义解释和测试时干预。本综述从四个维度提供了一个统一的CBMs概览：概念获取、基于概念的决策制定、概念干预和概念评估。我们总结了概念构建的演变过程，从人工标注到基于词典的挖掘、大语言模型(LLM)/视觉语言模型(VLM）引导的生成，以及通过原型和扩散模型实现的视觉关联发现；回顾了超越严格瓶颈的新兴CBM架构；并整合了强调忠实度、稀疏性和可干预性的评估与干预协议，这些对医疗保健等高风险领域尤为重要。我们综合了零散的文献，并勾勒了基于概念的可解释决策面临的关键挑战和未来方向。 阅读全文

摘要： 学习参考：链接1 一、为什么要提出DPO 在之前，我们已经了解到基于人类反馈的强化学习RLHF分为三个阶段：全监督微调（SFT）、奖励模型（RM）、强化学习（PPO）。但是RLHF面临缺陷：RLHF 是一个复杂且经常不稳定的过程，首先拟合反映人类偏好的奖励模型，然后使用强化学习微调大型无监督 LM， 阅读全文

摘要： 在实际中，我们常常需要讲将latex公式在word中书写。不采用手敲word公式，如何直接从Latex公式转word公式： 非常好的网站：https://www.latexlive.com/ 可以直接复制公式到word中粘贴，省去很大的负担！ 阅读全文

摘要： 1、字格式化输出： .lower() 全部小写 .upper() 全部大写 .title() 各个字符的首字母大写 .capitalize() 首字母大写 .strip() 删除两边空格 .lstrip() 删除左边空格 .rstrip() 删除右边空格 .replace(" ","") 删除所有空 阅读全文

摘要： 浮点数格式 （参考1，参考2） 浮点数是一种用二进制表示的实数，它由三个部分组成：sign（符号位）、exponent（指数位）和fraction（小数位）。不同的浮点数格式有不同的位数分配给这三个部分，从而影响了它们能表示的数值范围和精度。例如： 下面是一些常见的浮点数格式的介绍： FP64（双精 阅读全文

摘要： (1) PPO Trainer TRL支持PPO Trainer通过RL训练语言模型上的任何奖励信号。奖励信号可以来自手工制作的规则、指标或使用奖励模型的偏好数据。要获得完整的示例，请查看examples/notebooks/gpt2-sentiment.ipynb。Trainer很大程度上受到了原 阅读全文

摘要： 参考Github 开源模型 LLM-Tuning 一、简介 （1）RLHF (基于人类反馈的强化学习) 分为三步： SFT (Supervised Fine-Tuning): 有监督的微调，使用正常的 instruction following 或者对话的样本，来训练模型的基础对话、听从 promp 阅读全文

摘要： 基于人类反馈的强化学习， RLHF，转载参考链接 RLHF 是一项涉及多个模型和不同训练阶段的复杂概念，可以按三个步骤分解： 预训练一个语言模型 (LM) ； 聚合问答数据并训练一个奖励模型 (Reward Model，RM) ； 用强化学习 (RL) 方式微调 LM。 Step 1. 预训练语言模 阅读全文