智源大会-2024-八-
智源大会 2024(八)
2024北京智源大会-智慧医疗和生物系统:影像、功能与仿真 - P3:健康信息学定量分析研究:张贺烨-主持人:马雷 - 智源社区 - BV1VW421R7HV
好各位嘉宾各位专家,我们接下来欢迎张赫燁教授为我们做报告,张赫燁教授现任中山大学深圳校区生物医学工程学院教授,他主持的项目包括国家洁清项目,国家万人清拔项目,国自然联合基金重点项目。
广东省洁清项目和广东省科技厅人工智能重点专项项目,他主要从事健康信息学定量分析研究工作,以临床健康信息需求为驱动,推动并发展一系列健康信息定量分析的技术与方法,截止目前发表学术论文已经超过100篇。
申请或授权中国发明专利5项,获吴文俊人工智能科学技术创新奖三等奖,和浙江省科技进步二等奖,张教授的报告题目为基于机器学习的心脏影像处理,我们用热烈的掌声欢迎张教授,(掌声),(音乐),谢谢张老师的邀请。
在金老师后面做报告压力非常大,我尽量去讲好,我今天主要的报告是基于机器学习的心脏影像处理,我们为什么关注心血管的疾病呢,心血管疾病一直还是全球,当然在中国的死亡率还是最高,但中间其实有一个很小的差异。
让我们意识到我们做这些研究的一些意义,从这张1990年到2017年的中国城乡居民心血管疾病死亡率的变化,我们可以看出大概在2012年的时候,农村地区的死亡率开始远高于城市地区。
那意味着我们一国有一些很好的图像处理算法,或者无创的诊断的方法,我们可以在医疗条件相对落后的农村地区进行应用,所以我们就是,我就觉得我们可能做这些研究的一些意义和方向。
那我们为什么关心心血管的心脏影像呢,我们先来看一下,对心血管的图像来讲,有非影像的筛查心电或者血压,影像诊断有超深的CTMI,它们更好地提供心血管的心脏的结构或者功能方面的信息。
所以我们就会觉得说在做图像的分析的时候,一会儿能把机器学习应用进去,极大地提高图像的识别和理解,帮助医生诊断的过程,那我们在,当然很自然,在我们医学图像处理上。
我们最常见的是把计算机视觉的技术给拿过来再用,那我们其实大概看了一下,我们发现在计算机视觉里面,比如说做目标的定位,做目标的分割,还有做视频的运动追踪,其实跟这个医学图像都有很多类似的工作。
比如说做定位的时候,我们在看做心脏的定位,在做分割的时候,我们做这个管枪,这个内膜外膜的这个分割,运动追踪的时候,比如在这个spark tracking,这一超声里面是做了非常多的,那多视角的分析。
比如说最简单在那个树中的DSA的这个识别上,其实也是做有很多的这个应用的可能性,但不是说我们把这个计算机视觉的技术给拿过来,我们就一定能用,比如说我们最*我们也试过用那个Meta的。
那个SAN Segment Anisim这个模型,去试过超声的这个图像,不是在那个心脏超声的图像上,还有包括那个IOS的图像上,其实它的这个效果还不一定特别好,还需要进行的进一步的这个调试,对吧。
但在这个医学图像里面,还有很大的一个问题是,它因为成像的机制差异特别大,比如说超声是用超声波的反射的方式来进行成像,CT是透射的成像,衰减成像,MI其实是电池的这种,电磁波的共振成像。
但前面的大部分的这个计算机的视觉技术,都是基于这个自然光的这个成像,那既然这个图像成像机制的这个不一样,必然会对这个图像处理的这个方法,会提出不一样的挑战,那更重要的在这个心血管图像里面。
我们不能简单的只关注这个结构的这个信息,还很重要的是关注这个功能学的信息,比如说在这个血管里面的血流的流速,还有它的这个压力的状态,对吧,这个希望我们能从这个结构的图像上,能够去把它无创的计算出来。
这也是医生很关注的一些点,那所以在我们的里面,我们通过对这个计算机领域,还有医学图像领域的调研后,我们觉得在这个自然图像里面,它要做到这个泛化性的,其实经常干的两个比较好的一个方法,就是有改进学习模型。
比如说现在增加这个大数量,进行这个大模型,那在这个医学图像上,特别是一项一项改进这个学习模型,我们当然可以从计算机视觉里面,去学到很多新的基础来做这个新的学习模型,但受限于现在这个医院的。
这个数据量的这个问题,这个数据量在医学影像上,一般是不太可能得到大规模的,超大规模的这个数据量,所以这个数据训练样本,本身是个受限的情况下,那怎么去实现那个泛化性,那就变得很有挑战的一个事情。
所以在我们组里面,我们很重要的一个想法是,引入新的知识,那新知识包括这个结构结构相关信息,那图像信息是哪些,就是我们组里最*一直在关注的,像物理信息,比如说我们怎么把流体力学方程,还有这个机器。
这个力学方程,还包括我们电视力学方程,怎么嵌入到这个学习模型里面,那把这些物理信息的模型,嵌入到这个学习模型里面,有助于我们去降低对这个样本的需求量,那这样呢,你把这个新的知识加到了这个模型里面。
那你很必然的,你要针对这个样本量的小模型,去做这个设计,那你会发现,你不需要去针对这个样本量的设计,去做这个设计,那你会发现,你不需要去针对这个样本量的设计,去做这个设计,那你会发现。
你不需要去针对这个样本量的设计,去做这个设计,那你会发现,你不需要去针对这个样本量的设计,去做这个设计,那你会发现,你不需要去针对这个样本量的设计,去做这个设计,那你会发现。
你不需要去针对这个样本量的设计,去做这个设计。

那你会发现,我们最*关注的一个点是那个照影剂,我们最*关注的一个点是那个照影剂,当然我们这个照影剂不是指那个S光的辐射剂量,是在做那个CD成像,所以一般会把那个照影剂,注射到你的静脉以后。
然后再推到CD里面去进行那个成像,那这样的这个照影剂,一般它是对生动脉的那个循环有问题的人,或对生动脉有一些影响的,那医生很自然地希望说,是否可以用比较小的少量的这个照影剂。
能得到高质量的这样的这个成像效果,所以在我们这个里面,我们就得到了安生医院影像科的这个支持,所以他把这个病人进行了多次的扫描,当然这个扫描的剂量是符合那个伦理的要求,那这样的这个病人。
一个是注射了少量的LODOS的这个对比剂,还有正常剂量的这个对比剂完以后,我们去看这个主动脉的这个结构像,是否是合适,然后这样的话你可以看到,我们就通过这样的一种方式,可以小量的照影剂。
重细高质量的这个冠状动脉的这个图像,这样的工作以后能重建起来,那至少不是说假设能减少到50%,那就意味着这个整个照影剂,在安生医院的话,那至少可以减少一半。

那这样的这个市场价值是很高,所以在我们的这个方法里面,我们同样是用的是CycleGAN的方式,进行这个对比,那因为这个的确是个Unpaired的一个数据,所以我们有一部分的这个病人。
他可能有一部分的病人是少了两种的图像,有一部分病人是只少了一种的图像,然后我们用CycleGAN的方式,把这个配对和不配对的图像进行学习。

大家可以看到我们在146个病人上的数据,就是量化的这个结果,这可能这个数值上展示不是特别直观,我们来看看这个图像的质量,这个图像质量你可以看到,我们把这个低剂量的图像重建好以后。
放到安生医院的影像工作站,然后进行这个主动脉的重建,所以这个重建是用标准的流程来看做出来的,你可以看到在我们这里面,这个是超低剂量的,这是低剂量的,然后我们用这种方式可以看出来。
这个诊断的这个重建出来的主动脉的效果,还是非常清晰的,完全是在这个病人所能够接受的状态,这篇工作的图也是发在European Radiology,安生医院他们牵头发的一个工作上,所以通过这种方式。
从视觉上还有质量上这样的重建方式,就意味着人工智能的确是能提高重建的质量,能降低病人的对比力的涉入,图像的分割是我们很自然的一个基础性的工作,一定要把这个图像分割做好了以后。

才能做很多后面辅助诊断的一些工作,在我们里面我们主要关注的一个是,如何把多种模态的心血管的影像都利用起来,因为在医院里面,就前面金老师讲的,可能这个医院有大量的超声数据,那个医院有大量的MRI数据。
但这个医院可能就有稀疏数据,这些模态之间不同人之间的多模态数据,是否能够利用起来,一个多模态数据分割能利用起来,其实对结构性心脏病或者CRT的治疗,其实很有意义,在术前的时候。
这些病人他做超声或者做MRI,他其实医生都希望说,把不同模态的心脏的影像分割好,再融合在同一个病人的结构上,然后对CRT的治疗进行更好的,提出治疗的策略,在这里面就碰到一个很自然的问题。
比如超声大概200多块钱,CT是1000多块钱,MRI大概是1000到2000这样扫描的东西,那你这数据量在一个中心,其实收集起来就很难,我们就希望用Metal link的方式,把不同模态之间的数据。
它其实共有了一个,很共有的一个信息是心脏结构,不管你这个人不同的人,你的心脏一定是四个腔室,两个心室两个心房,这些结构的信息,把我合在里面以后,其实能帮助我们去看到,不同模态之间的,心脏的结构的信息。
同时还能看到。

不同视角的心脏的信息,这样的工作其实是一个很简单的,Meta的网络结构,这个网络结构就不具体讲了,如果大家有兴趣。

可以去看一下我们的TMLS,和Metal image的文章,但你可以看到我们在两个数据,刚开始我们在一个小的数据,2018年的公开数据,CT和超生,CT是安征医院的私有数据,超生是我们在深圳医院。
和广州路径总医院,再单独采集的数据,所以你看到我们这个数据里面,有MI和CT超生,最后的心内膜心外膜的分割路。

是比较吻合的,这个精度展示在这里,然后这是我们最后的,分割的结果可以展示,你可以看到这是ground truth,最后这是我们的结果。

结果的分割程度比较好,最后我们讲的像是,我们主力很重要的一个工作,是怎么做功能学的定量评估,功能学定量评估,其实在数学上看,其实它是一个逆问题,因为功能它是决定了你的结构,包括你的临床的观察。
但其实我们在临床上,我们大部分可能得到的都是观察,怎么通过观察的数据,反推去得到的功能,其实这个挑战很大,它是一个逆问题,逆问题其实是个病态的。

大部分是病态 很难求解,在这里我们主要做的是,首先今天讲的主要是,以冠脉血流处分数来做个例子,血流处分数的定义很简单,它是狭窄前后的压力的比值,比如说这是远端的压力,比上*端的压力,正常的时候。
如果这个地方没有狭窄的话,Fvr应该等于1,但如果这有狭窄的时候,Fvr就会降低,降到小于0。8的时候,必须要放支架的治疗,那美国Hot Flow的公司,它是用流体仿真的方式,做这样的技术。
比如说它可以通过流体仿真,网格化了以后,去再算出这个狭窄地方,小于0。58,那就意味着就要放支架,那整个过程是完全用流体仿真干的,是用数前的CTA扫描来做计算,那不是说做介入的导线的压力治疗。
所以这个技术很有意思。

那在我们这里,我们首先也试了它这个技术,但我们用了一些,改动了一下它的流体边界条件,先做好这个仿真,所以你看到我们把这个,二级血管我们其实用的很少,但它在Hot Flow的二级血管,用的可能多一些。
我们把这个重建完以后,做Mesh,用新的流体力学的边界条件,去模拟打那个线杆的情况完以后,再把这个压力的值给计算出来,然后我们在这个221个人,这应该是301的数据,然后你可以看到我们这个结果。
吻合度还相对比较好的,这篇工作也是发在,Medical Fix上面的封面文章,对 Medical Fix上面的封面文章。

但这样的仿真做完以后,其实对我们来讲,我们还有一个很有意思的想法,说那我们能不能用深度学习,替代这个仿真,让深度学习学习物理行为,那其实这个在经济视觉里,已经开始在做,比如说在学习小球的运动。
学习流体力学的这个pattern。

其实已经在用深度学习,去干这个事情,那我们在这里面,我们就采用前面我们做好的,流体仿真的模型,来产生这个训练样本,请注意我们所有的训练样本,都是用流体力学模型来产生的,就没有一粒的病人的数据。
然后这个时候我们在训练的时候,我们用了一个树状的LSTM的网络,它去提取血管的形态,然后这样的时候我们训练,我们仿真数据产生,这个训练样本是仿真数据产生,那我们训练的时候。
是用LSTM去学习这个仿真的数据,那这个时候训练数据,是包含了仿真的血管结构,和仿真的压力的数据,那1比1匹配我们学好完以后,测试的时候,我们完全用的是真实人的数据,那这个对于计算机模型来讲。
是很有意思,它的训练数据和测数据,完全是不同源的,那更难证明这个模型的分化性,那当然这个工作是我们当时,跟那个深圳科亚一起合作,很重要的一个工作,包括这两篇文章。

都是跟他们一起合发的,然后最终我们在,180个人的这个真实血管数据上,这都是测试数据,那训练数据是13000人的仿真数据,你可以看到我们不论是在,Cut-off是0。75或者是0。8的时候。
我们的AOC值的效果都很好,当然这个后续,那个科亚的时候,他们做了更大的训练,超过了那个,在拿闪耐症的时候,已经做得更准确 更好,这篇文章是在,Neural Network上发的时候,当时我们就用了。

这么小量的数据,做的这样的效果,那我们后期呢,在灌卖工人多参数,比如说在做IMR这块,我们这个工作应该是,应该很快就要投出去了,跟那个西南医院合作的,那个主动脉这块,我们跟北大 北一三院的官员。
我们应该要投出去,所以如果大家有兴趣的话,可以关注我们的工作,也希望后续,跟大家进行多多合作,谢谢大家,这是我的邮件。

再见!谢谢大家,谢谢大家,观看更多「時尚高潮」頻道,搜索「時尚高潮」專頁。
2024北京智源大会-智慧医疗和生物系统:影像、功能与仿真 - P4:临床心肌缺血预测手段及困难:李建*-主持人:马雷 - 智源社区 - BV1VW421R7HV
好感谢张教授的报告呃,下面呢我们欢迎李建*院长给我们作报告啊,李建*院长,北京大学第一医学院副院长,心血管疾病研究所所长,主任医师教授博士博士研究生导师,血管稳态与重构全国重点实验室副主任。
心血管分子生物学与调节肽重点实验室,北京大学副主任,北京大学医学部血管健康研究中心副主任,李建*主任,20多年来,一直从事冠心病介入治疗,开展高血压,冠心病等,动脉粥样硬化疾病的相关临床和基础研究。
在国际学术期刊发表i sci文章237篇,中文文章128篇,获一项国家科学技术进步二等奖,呃,李院长的报告题目为,临床心心肌缺血预测手段及困难,那么让我们以热烈的掌声,欢迎李院长,嗯好嗯,尊敬的呃。
张宏贵教授,还有各位专家同道啊,大家下午好,呃,那特别高兴哈,我看今天已经是第六届了,那我我是第一届参加哈,而且我觉得作为一个心血管科医生呃,一进入这个会场,我就特别震撼,因为我们的学术会议哈。
朱教授和那个龙德勇教授主任在哈,我们很少见到这种场景哈,各个会场是个爆满,而且这个有有大家站着参会的哈,所以确实能够感受到大家这样一个这个热情,激情哈,去迎接和拥抱新技术这个大数据。
所以呢这个我们无论从北大医院哈还是从科室,其实很早也特别关注和参与到,这个这个这个技术里面来哈,所以我也呃借助于这样一个这个特别好的机会,有幸跟大家汇报一下我们自己的工作哈,啊这这个还是说临床需求哈。
这张老师给我一个任务,就这个题目也是能够看得出来哈,临床是有需求。

我们才去借助于这样一个新技术哈,解决临床的这个难点,卡点和痛点,那对于冠心病的诊断而言,其实呃大家都知道,我们冠心病呢其实简单跟大家科普,还因为有些人可能不是做我们有医学这个专业,我们两大类型。
一类呢是稳定的这个心脏病,另外一大类呢是不稳定心绞呃,心脏病我们叫急性冠脉综合征,其实最典型的例子就是急性心肌梗死,那从临床上对这两大类型的疾病的诊治过程中,其实第一对于急性冠脉综合征。
大家都知道急性心肌梗死它非常危重,它后续的临床的愈后哈,虽然经过我们抢救呃,也可能有不好的预后,但是对稳定的冠心病病人他不一样哈,他其实临床预后相对的是好的,但是从诊断来讲,这两类是不一样的。
那个最重的急性冠脉综合征,包括急性心肌梗死哈,不稳定心绞痛或者是叫非S段抬高心梗,他在临床上诊断非常容易哈,这个病人一目了然,只不过我们能不能给他治疗好,取得一个最好的结果。
但是对于稳定的临床预后相对好的,这些人在诊断上就非常的困难好,因为这些人目前诊断的方法有很多,我们大概可以分为无创的,还可以分为有创的,那怎么样选择最好的这个检查方法,给病人做出诊断。
那牵涉到很多的问题哈,包括这个病人的获益的问题,包括医疗费用的问题哈,因为非常大量的,其实临床我们给他诊断呃,带引号的冠心病哈,所以去做了好多可能没必要的这个有创的检查,所以这一块在我们临床上。
是个需要解决的问题哈,那无论是国外的指南呢,还是从国内的指南,都给了我们很多的这个从指南层面的建议,但是在操作起来却很困难哈,我给大家举个例子,这是来自于欧洲的,对于这个临床稳定的冠心病病人的。
一个诊断的一个流程哈,这个这个我们快速的过哈,实际上大家看到的第一步就先看症状,是不是典型,我们如果是一个典型的心绞痛的症状,我不给他做什么任何的检查,那我基本上七八十%的把握度。
我说你是有病或者是没病哈,这是从我们老师那学来的,过去没有那么多检查手段的时候,就靠问诊哈,就跟中医大夫要做基本功,要望闻问切,那我们对西医的时候,我上学的时候,老师给我们讲,如果你好好的问病人的症状。
是不是一个典型的心绞痛的症状,那你有起有80的把握好,告诉这个病人是不是后续要做检查哈,那当然典型的心绞痛的症状,我们有时间再讲哈,因为很多科普的这个场合呢,我们也给大家介绍,有些症状真的不是心脏病。
大家不用特别紧张,这点就提出来了,其实路径很清晰,但是操作起来有困难,大家看他是一步一步的推进,那刚才那个叫枕前的可能性,那根据你的症状,就判断你得这个后续的,真的有病的可能性有多大哈,15%以上。
5%到15%哈,我们会推荐接下来的路径,那你下一步该做什么检查了,大家听说过哈,心电图诊断冠心病,但一般的时候做心电图拿出来,我们体检,后来有些大夫就说你有有点心肌缺血,这个非常不科学哈。
我们要诱发病人犯病的时候,心电图才能发现问题,所以那个检查叫运动实验哈,运动的时候做心电图哎,在你心肌氧耗量增加的时候,如果你心电图出现了明显的缺血性的变化,我们就给你诊断,那如果你不运动了哈。
心率下来了,那马上心电图又恢复了,那这个诊断,我们也可以有80%以上的把握度,认为你是有问题的,那当然借助于这样一个负荷哈,包括运动和药物去诱发病人犯病,我们产生了一系列的技术,包括心电图。
包括超声心动图,也包括核素好,这都是在功能学检查,无创的功能学检查,那当然大家知道刚才呃张教授给大家介绍的哈,基于CTACTA是什么呢,是通过一个增强的呃c ct造影哈,也是一种无创。
相对于我们给病人做穿刺哈,穿刺动脉做冠状动脉造影,那这个检查呢,其实它也是一个通过CCTA,来看你的血管是不是有斑块有狭窄,但是有斑块有狭窄以后,他是不是引起缺血了,刚才张教授给大家介绍的CTFFR。
实际上就基于c ct影像的功能学评估好。

那功能学评估,可能张家张教授也给大家铺垫了,这部分的这个内容哈,呃呃我我等一会儿再简单跟大家说哈,那无创的检查方法有很多哈,大家这点把刚才我提到的运动试验哈,就是这个负荷的心电图。
包括冠状动脉CTA哈负荷的这个核磁哈,负荷的超声心动图,还有这种负荷的核素的心肌灌注显像哈,这个suspect,他对于诊断或者是排除。

都有自己各自的一个这个呃准确性哈,所以呢,另外呢我们关注这个稳定性绞痛的病人呢,其实我们特别想把这个稳定的性绞痛的病人,给他诊断准确。

给他干预的准确,那提到了干预,那么大家都知道哈,这个冠心病的从治疗模式上,治疗手段大家都知道哈,我们有药物治疗是基础,那么接下来的治疗呢就是这个介入治疗哈,介入治疗是个微创的手术,那跟几十年相比。
有好多的冠心病病人,因为这项微创的手术而避免了开胸去做搭桥哈,这是一个这个治疗技术的一个一个,革命性的改变,但是新技术出现以后呢,又伴随着其他的问题,就是提到了我们真的是治疗一个病变呢。
还是治疗一个缺血呢,所以呢提出了功能学的评估啊,功能学评估是什么意思呢,就是你冠状动脉存在的狭窄的过程中。

我们等会可能有一个图哈,呃还还还不是这哈。

那么我们在这个冠状动脉呢,实际上它出现狭窄了以后呢,因为冠状动脉循环,它不止只是我们刚才呃,张教授给大家演示的那个冠状动脉的图形哈,那冠状动脉大家可能刚才那个图等会给大家看,我这可能也有那图形。
它实际上它冠状动脉更远端,连接的跟心肌细胞相接触的那那些微血管,它占到了90%以上,我们能够做CT或者做冠状动脉造影,看到的那个血管只占到了10%,不到10%,所以说这么庞大的血管床。
它有非常好的调节能力,你这边窄了,我远端扩张,那导致的结果就是你的心肌细胞并没有缺血,所以这就造成我们不精准的评估,不精准的治疗,就可能造成治疗过度或者是治疗不足。

造成治疗不恰当的问题,所以呢也就导致了我们在临床上,对于稳定的冠心病病人,再去评估介入治疗好还是单纯的吃药,好的时候我们没有得到阳性的结果,这个实际上跟我们临床的这个个人的经验,那完全是不一样的。
好那我们认为我们在临床上收治的病人,如果我判断他这个病人应该做冠状动脉造影,做支架治疗,那他的结果从我个人的感受,我们80%,90%以上病人都是明显获益,症状改善的,但是我们在看临床研究的时候。
他做这么一个大样本的随机对照研究,他却非常遗憾的没有显示出,在优化的药物治疗的基础上,我们给病人放一个支架,两个支架能够进一步的改善病人的获益,那这个获益既有硬指标,比如改善病人再发心梗呃。
再次死亡死亡,还有再次血运重建哈,这个再次血运重建,包括再做支架或者再做搭桥,他并没有在这些心血管事件上获益。

那当然可能在生活质量,在心绞痛的这个改善方面得到了一些改善哈,所以这并不是我们需要的,那根本的原因是什么呢,是我们没有对病人的冠状动脉缺血,做一个很好的功能学评估,那这就是刚才这个这个张教授介绍的哈。
我们通过CTA的影像去看,他是不是真的缺血了哈,那当然我们在过去呢,这是啊,我给大家显示的就是我们冠状动脉是从粗到细,那小的冠状动脉100个微米以下的,我们做冠状动脉造影的时候是看不到的哈。
但是那部分占到了更大的绝大部分的比例,那因此呢我们从冠状动脉上呢有了功能学,一个指导下的治疗,就是fame系列的研究哈,那他是通过一个压力导丝,把这个压力感受器放到你冠状动脉狭窄哈。
比如说我们在这个血管上有一个,70%的狭窄,那它把这压力感受器,那么放到这个病变远端以后呢,那通过对微循环的一个最大程度的扩张,你不是微循环可以有调节功能吗,那我就暴露出在最大的扩张。
你能够最大扩张的情况下,我暴露你这个病变导致的,你血血液在这个病变前后的一个压力的接差,这个如果压力结差大了,就提示他有缺血了哈,所以在过去呢。

我们是做了基于冠状动脉造影的,这个CAFFR,那CF8的好处也是不需要压力导丝了哈,不需要那个压力导丝,我们通过算法把这个功能学算出来了,那当然张教授介绍的CTFFR就更前一步哈,他没有去做造影的时候。
他就算出这个FFR了。

那这是我们跟企业呃合作哈,这个这个也是已经上市的一个这个产品呃。

这个也是发表了很好的一个文章哈,我们看它的准确性,这个跟大家看那个呃跟FF2相比哈,它有很好的诊断的准确性,右边那个IMR哈。

就是我们做微循环阻力指数哈,现在呢这个我们也是也就一个北京市的一个,这个呃首发基金的重点项目哈,在评估,这个基于我今天要给大家介绍的,这个心机应变的这个IM的评测评,那这个是心机应变哈。
我们这个朱天刚是我们国内的超声的专家哈,我们超声心动图会获得一些,这个,这个也是超声上面的,非常简便的一个这个这个数值哈,它叫心肌应变,它反映我们因为我们的心脏的这个数。
这个这个心脏的搏动不是一个气球一样的哈,吹起来缩回来,吹起来缩回来,它在收缩的过程中,这个多少亿个心肌细胞,它其实是一个非常复杂的力学的协调运动,那导致这个像拧毛巾一样的运动,它是一个最有效的去泵血。
好达到一个,那我们去测这样一个心肌应变,就可以反映你可能存在心肌缺血了,好,这是我们跟这个呃,呃,佐治亚大学和清华大学的人工智能的团队合作,那么基于我们自己的这个数据。

好做的一个初步的结果哈,这个我就不班门弄斧哈。

这是一些具体的方法,这是我们当时的一个这个研究的设计哈,最后呢我们最后也是呃,这个结果应该还是不错哈,通过一个呃最最大限度的一个一个学习的,能,这个可以通过呃这个心机应变呢。
达到一个啊非常呃比较理想的一个这个预测,心肌缺血,那么这个我也略过了哈。

所以呢还是觉得等一会呢,我们还有关于这个缺血哈,我们从这个心脏去关注到肾脏哈,因为肾动脉也有狭窄的问题,肾动脉肾脏也有缺血的问题哈,所以我觉得呃确实这个有很多机会,也有很多挑战,那我个人感受哈。
其实我们需要跨学科的人才哈,我看现在有很多年轻人,我不知道大家的背景是什么,其跨学科的人才特别重要,虽然我们现在有了医工交叉融合,我们也跟智远成立了这个这个心脏的人工,心脏的这个联合实验室。
但是我们还是觉得现在临床医生,可能这个角度上摄入的还是不足哈,我们希我们希望能够跟我们这个呃专业的哈,这些人呢能有更深入的合作哈。

也更希望有这方面的人才,来到我们的这个医院里边来哈,呃这是我们跟张老师这边哈,北京大学第一医院和这个智源,成立的这个人工智能研究院,也希望能借我们今天这次大会哈,能够开展更多的合作。

那再次感谢张教授。
2024北京智源大会-智慧医疗和生物系统:影像、功能与仿真 - P5:基于可信执行环境的AI医学影像挑战赛发布:李建*-主持人:李昱熙 - 智源社区 - BV1VW421R7HV
感谢李主任的精彩报告,接下来由李玉溪主任介绍,基于可信执行环境的AI医学影像挑战赛,李玉溪是北京大学第一医院信息中心副主任,心内科副主任医师,擅长常见心血管疾病的临床评估与诊治。
尤其专注冠脉及高血压介入治疗,参与多篇心血管疾病大型临床研究项目,以第一作者发表sci论文十余篇,接下来有请李玉溪主任介绍挑战赛的背景,好的非常感谢呃张教授的邀请,然后也特别荣幸能有这么一个机会。
跟今天在座的各位专家,还有领导来汇报我们的这个设想,然后呢其实真的是一个非常呃胆大的设想,然后今天能够在这样一个场合呃。

逐步把它实现,那简单说一下,为什么我们要要做这件事,其实刚才金教授已经讲到了,呃,其实医院的这个数据非常的宝贵,可能中国的专家不没有这个感受,但如果你真的去欧美呃,像金教授肯定知道要跟医院去合作。
用这个数据真的是很难很难,所以国家整体的战略数据,肯定将来是咱们的这个新的生产要素,那在这里面我们拥有大量医疗数据的医疗机构,其实是有意愿来拥抱人工智能。

让这些数据真正发挥作用,但是这里面呢我们都有需求,但是也有痛点,比如说医院是很有意愿与人工智能的研究机构,公司合作,但是这里面数据安全,尤其中国的医疗机构,其实很缺乏数据安全的这种防范的能力。
那再有呢就是这里面数据价值如何去保护,因为一旦这些数据,哪怕是我脱敏的数据给到了任何的第三方,未来实际上我就失去了这份数据,本来可能有的价值,再有就是这中间我们到底怎么去合作啊,因为到底谁做得好。
其实很难有一个这种呃条件来证实,因为大家都说做得好,但是到底好不好,其实这里面的成本是很高的,所以导致的一个后果就是,医院会要求所有人必须来来我们医院合作啊,包括刚才那个张教授讲到。
我相信很多工作他们都必须到医院里面去做,那这个反过来对于我们的研究机构,还有公司,其实无疑就增加了大家的成本,而且我相信公司也会有顾虑,我把我的模型,我的核心的这个算法放在你的医院。
那又有其他的这个竞争者去,其实也是有这方面的风险,所以在这里面呢这样的一个背景下,那其实国家包括刚才这个金教授也提到的,有可能实现这种原始数据不出域数据是可用。

但是不可见,所以从这样的过程中,我们就提出这样一个非常胆大的呃想法,那好在有张教授,还有智源研究院的支持,那使得我们能够利用这样的一个机会,那我们最初的想法,其实就是想利用众多人工智能学会。
开展的这些测评的竞赛,因为这是一种很成熟的模式,我们提出一个任务,大家都来在同一个公*的*台上,看看到底谁做得好,但是这里面怎么解决刚才的这个痛点,那现在啊智源研究院。

包括我们提供技术支持的这个荣安数科公司,那达出了就是这个所谓TEE,可信执行环境的啊这样的一个技术路线,那在这个技术路线以上呢,其实我们希望的是通过这个小小的尝试,能够打造未来的啊一个生态的这种模式。
比如说我们医院将来就可以来对内建设,我们本身的医学影像数据的这个,资产管理的*台啊,因为这些数据是很好的,可以去隐私化,并且我们可以把它有哪些维度,这些病人有什么样的临床资料,随访了多长时间拿出来。
那这样呢对外我们就可以形成一个交易,或者说查询的*台,未来任何的第三方好比公司药厂,保险企业,你需要了解我医院的这些数据的时候,我可以告诉你啊,那之后其实就有可能进行,我们后续的这种数据的确权。
以及产生的这样的一个啊良性的合作,那最后呢,我们如果有这样的一个隐私计算的*台,那能够给大家提供一个更公*竞争和选型,甚至有可能改变未来我们很多的这种。

招标的流程和模式,那呃这次的竞赛呢其实前期特别感谢张教授,包括智源研究院啊,还有今天在座的像呃这个张鹤叶教授团队,然后像这个王宽泉教授团队,其实啊还有那个李帅教授团队,其实都给了我们大力的支持。
也很有意愿参与到我们未来的这个竞赛里面,那在这我再以一个简短的时间,跟大家汇报一下啊,我们这个竞赛的发起的初衷。

和一些简单的这个细则,那背景呢其实刚才各位专家也都讲到了啊,冠脉的这个功能学是很重要,那我们这次的这个竞赛呢其实是围绕在肾动脉,那肾动脉其实是我们,引起高血压和缺血性肾脏病,一个非常重要的病因。
那肾动脉狭窄呢其实治疗也就是药物和支架,但是介入治疗到目前为止,几个大规模的RCT研究也都是阴性,结果跟刚才李院长讲到的稳定性冠心病啊,如出一辙,那过去这些研究呢,我们回过头来分析。
他肯定是有一些可能的偏移的问题,比如说他纳入了很多狭窄程度并不重的患者,另外呢有那些非常严重的患者,因为是随机对照研究,其实医生和患者都不愿意参与到这个研究里面,因为你一旦参与。
你可能会被随机到药物治疗那组,但是医生和患者都觉得我其实应该放支架,那这些病人的数据,其实并没有进入到这样一个RCT,那导致的一个直接的后果,就是欧美现在基层的医生。
基本不再给大医院推荐做肾动脉支架的病人啊,所以最后一篇RCT研究是,2014年在新西兰杂志上发表,到现在已经过去了10年的时间,那在去年呢,实际上欧美的专家就认识到,这个RCT其实影响了很多病人。
很多病人可能耽误了最佳的救治的时机,所以在去年的HYPOTENSION,就发表了一篇最新的关于肾血管性高血压,血运重建的一个专家的立场声明,那其中就说明不是所有的病人都不该做。
而我们应该去挑选合适的病人,那问题来了,我们怎么去挑选,目前无论是中国美国欧洲的指南,其实都没有一个特别确定的,什么病人,我们该给他放支架,什么病人不该放,那我们就回想到。
其实冠脉是走过了这样一个循证的历程,最早我们就是基于造影超过70%放支架,70%以下不放,但是一系列的研究,甚至他们拿假手术对比的随机断研究,都没有看到阳性的结果。
那随着压力导丝到后续我们基于冠脉造影的啊,所谓这种人工智能的QFRCFCFF2,现在其实积累了大量的循证医学证据,就是基于功能学的支架治疗,是优于过去基于造诣,甚至要优于单纯的药物治疗。
所以我们这样的一个工作,就是希望看看能不能把同样的啊,这个功能学引入到我们的这个肾动脉,那在这个基础上,其实我们在临床中已经开始了探索,我们最早的一例病人是2019年开始做啊。
当时呢这个病人通过了功能学的评估,也获得了非常良好的预后,到现在随访超过5年的时间,他的血压肾功能都保护的很好,那我们就想把它转化成为一个循证的这种证据,那在这个李院长牵头下。
我们也是开展了所谓这个fire pilot的一个研究,那这个研究呢,完全是一个随机对照研究的设计啊,我们有很好的前期的这个研究的方法,然后中间我们也给病人进行了多模态的,这种影像的评估,有肾动脉的超声。
有磁共振啊,当然也有我们术中的造影和FFR测量的这个,肾动脉的压力的参数,那我们就是希望能够看看到底这样的一个方法,是不是可行,那在plot的研究。

目前我们已经完成了所有病人的入组啊,正在进行随访的过程,我们总共是随机了106例的患者,那这些患者呢,我们现在已经有了一些初步的这个数据的分析,那今年呢这个主要的研究。
可能也要在今年的欧洲心脏病学年会上,进行汇报,那在这个过程中呢,其实我们就希望能够开展这样的一个,临床的挑战赛,那他的背景和初衷,第一个就是我们将来一定像跟冠脉一样,是要跨过压力导丝。
进入到利用影像和人工智能算法,直接得出肾动脉的功能学的指标,那第二个其实就是刚才的背景,有没有可能通过这样一种隐私计算的方式,使得我们探索出来一个新的啊这种创新的模式。

那我们就把这个pilot的,106个病人的数据啊,全部进行了汇总,嗯我们提供了一批样例的数据,然后呢,希望大家能够在这个基础上来开展,我们人工智能算法的研发的工作,那这些数据呢我们提供了几类样例的数据。
第一个就是术中的肾脉造影的图像啊,一个动态的DECOM原始格式去隐私化的数据,并且呢在这里面我们进行了QCA软件的标注,由专业的医生啊,完成了他一个狭窄程度和狭窄的这个部位,的一个标注。
那第二部分呢就是我们在手术过程中,用压力导丝测得的肾动脉的这个FI阀,包括远端的*均压,这个病变,*端的*均压啊,以及它基线的这样一个压力的数据。

那在这个过程中呢,我们很遗憾,确实只能提供少量的数据,就像刚才金教授,还有前面几位教授讲到的,在医学领域可能很多场景下我们只有小数据,还没有大数据,但是我相信呃。
在咱们人工智能非常专业的这些专家团队的啊,这个带领下,我们即便用这些小数据,应该也能够探索出来我们未来的这个方法,所以我们初步计划会提供实例的这个标注好的,样例的数据。
每一例呢都有病人呢肾动脉的详细的这个直径,狭窄,病变的直径参考血管,还有FFR,包括当时术中的压力的这个结果,还有我们的影像,那最终我们希望呢得到啊三个任务拆分了,第一个任务呢。
其实就是识别我们血管狭窄的这个关键帧啊,因为一个造影的图像从一开始的空白,到我们填充了造影剂啊,其实里面有很多关键帧是可以识别它的狭窄,第二个任务呢就是根据关键帧的图像,完成图像狭窄的勾勒和分割。
那最后一个任务就是完成我们这个,圣盾曼FFR的一个啊人工智能算法的预测,那这里面呢智源研究院,包括我们合作的这个隐私计算的呃,团队给大家提供了运行的硬件和软件的环境啊。
所以呢呃后续也期待各位专家如果有兴趣的话,可以跟我们进一步的这个合作啊,呃那关于整个的这个挑战赛的背景,还有任务,我简单就汇报到这,那最后呢我们也是那个再次呃邀请张恒贵教授,然后邀请李建*副院长啊。
然后还有这个呃李亚聪老师,我们一起来进行一个简短的这个。

挑战赛的发布的仪式,有请几位专家,我们还是一个特别感谢哈,呃呃见证我们这个肾动脉的一个功能学的呃,计算的这个隐呃,基于隐私环境下的一个计算呃,挑战赛的一个正式的宣布启动,好,谢谢大家。
2024北京智源大会-智慧医疗和生物系统:影像、功能与仿真 - P6:个体化心脏建模仿真技术及其临床应用前景:夏灵-主持人:王宽全 - 智源社区 - BV1VW421R7HV
尊敬的各位专家,各位同仁,大家下午好啊,我是这个环节的主持人王宽全呃,来自哈尔滨工业大学计算学部,那么非常荣幸的介绍,我们这个环节的第一位讲者呃,夏琳,浙江大学教授博士生导师。
前任浙江大学生物医学工程研究所所长。

浙江大学生物医学工程,兼任中国生物医学工程学会理事,医学图像信息与控制分委会主任,国际生物医学工程杂志编委等学术职务,长期从事心脏电生理或磁共振成像系统方面的,科研和教学工作。
主持承担了七项国家资产科技基金,三项973计划项目子课题,一项国家支撑计划子课体,和一项863计划项目,夏教授的报告,题,为个体化心脏建模,仿真技术及其临床应用与前进,大家欢迎啊。
好非常感谢呃张教授的邀请,以及呃王教授的介绍,那么我那一辈子就做心脏期模仿真,那么*几年就是我就是重点,就是跟随欧美那个那个步伐,就是最*几年就是欧美国家,特别是美国约翰霍普金斯大学。
他们就说一个个体化心脏建模仿真技术就用,主要是对针对心律失常这个治疗,那我们知道心律失常是心脏疾病诊治的难点,因为其他心脏疾病呃,我们现在有相对来说好一些,因为有影像检查都看出来。
就是哪里有毛病就直接看出来了,但是心律失常它是跟电相关的,电相关的就是比较麻烦,看不到,就是影像范围看不到,所以我们左边这个图就是我们正常心脏比行驶,它的细分次序就非常有规律的。
你要比右边这个比如心尖上给他个刺激,他就紊乱掉了,那么就心跳速度非常快呃使行行行动过剩,甚至使颤,那么像右边这个要颤动的话,心呃心室颤抖的要死人了,就你立马的除颤,不吃蒜肯定就死掉了。
是关键是你我们怎么把它消融,把它就打停下来,那么就是你要是最最简单办法,就有个强电流刺激呃,呃让所有心肌细胞就是恢复到精哎呀静息状态,那么又恢复原来这个呃有规律的这个节制啊,节律跳动。
这是关键是我们消肿怎么消融的靶点,那我们知道就心脏,我们连着血管,所以我们嗯做心脏的医生都知道啊,就是德国医生护福特斯是吧,发明了就是自己导管进去,直直接升到心脏,那么就是设备消融。
那么这个这项技术就是推广之后,他还获得诺贝尔奖对吧,就是从此以后心内科医生确实很多手术,心内可以瞬间干掉,原来可能都要心心外科医生嗯,那么既然这个店看不到,那么现在临床有有有几种方法,就是心内标测对吧。
我们用的最多可能就是强韧公司的卡图系统,以及就是呃雅培的,就是这个inside的这个系统,那么就一点点去飙车,那飙车呢就是就是为了目的就找那个靶点,消融靶点,但是现在我认为就是这个这个心率。
飙车还存在一些问题,那比较费时,这一般是诱发诱发出心律失常,在飙车诱发飙车这么多次循环,那时间大部分时间都耗在这,那实际上第二个呢它看起来三维,实际上是二维,就是说那个壳是三维的。
但是实际上它就是标测心内膜对吧,实际上心内膜就但是呢心脏它是立体结构,它有新基层呃,它只能标这个心内膜对吧,他导管伸到心内膜去,那心外膜标测不到,特别中中间心基层就更标测不到。
这样就有些就说因为你这个靶点在心内,某个心外膜是不一样的,你特别中基层诶,你家用设备消耗能量的选择不一样对吧,或者你的心外膜的话,你的呃可能可能要穿刺过去,就是才能消融。
所以这样有时候就是呃会导致心理呃,消融这个失败嗯,另外就是还可以,就是容易漏掉这个这个这个潜在靶点,那一般临床医生就是说它诱发心律失常,可能就选几个点对吧,就是可能就是呃呃选择一个新电刺。
新建部刺激一下,或者是又是流出到二刺激下就完了,那很多其他地方它就不及诱发,那实际上可能还有潜在的靶点,所以漏掉,这样就导致它复发率要高,所以就是最*就是就欧美啊,欧洲有,特别是美国。
我们就是原霍普金斯,就是纳塔利的教授,那个克列组就用个体化心脏建模这个仿真技术,那么它就是我们对患者就少一个磁共振,特别是伽增强这个颜值强化的组织,这样就可以扫出来,就特别是比如说辛格啊。
以新梗就是心梗就救回来了,但是他也留下疤痕,有些疤痕留下来或这样的,有些心肌细细胞是死掉,但有的新型细胞呢还半死不活的,我们称为灰区,这样的就是死掉心肌细胞,它不会传传导电,那你半死不活的心肌诶。
它能传传导电,但是它传导速度慢,嗯这样才很容易形成1CP市场,那么这样模型我们通过就是呃构建这个模型,呃,这个当然这部分就是因为构建这个模型哈,哈很很费时,要手动的话就花非常啊,花了多少钱。
现在我们就用一个全自动用AI的呃,帮助下就是构建这个模型,这样就的三维模型构建出来,这样来我们这个算构建模型之后呢,就是我们不光光是结构模型,我们电生理参数都给它附上,包括心肌纤维选项。
因为他这个心肌纤维选项非常有规律的,我们得给他自动扶伤咳,然后包括动作定位啊,心肌细胞,包括就是你心内膜跟中间,心肌层跟心外膜动作电位不一样的这样一仿真,然后刺激我们按照美国心脏协会,那个几个点标准。
19个点对吧,17个点,19个点,那么刺激就相当于就是,我们给他去施加一个虚拟刺激,实际上我们也是心理上呢,他它诱发因素就是那早搏对吧,相当于给给相当于给他个电脉冲这么刺激。
那么这样就是我们我们心理失常,就是给算出来了,那包括就是这个我们的计算模型,包括左边的,右边的是实际的,实际上呢就是它标测到的模型,就是下面这个图更清楚点,那么这个模型算出来之后。
我们就是比这个灰的这个地方,就是我们消融那个右右边那个图哎,这样就是他的心率时代就就就可以消失掉了,那么这是第一个就是飙车点,就实际上还有就是飙车点,就是临川是嗯8。1是第一次手术标识的,后来8。
2是第二次手术了似的,它复发了,现在又飙升到我们模型,实际上就一次性就把所有就是潜在靶理,就是反认出来,那么就一次性就手术就就就可以结束了,就直到就是你再优化不出来,就是有些折返。
这样的话就是减少这个复发率嗯,那么这是就是使信心动过速对吧,这个是右边这个图,就是我们呃青色部分,就是我们算出来只要消融这么一点就行了,那个红色区域是呃,医生就说呃,实际手术中就是我们就吻合的非常好。
那实际上对心肌细胞,就是正常心肌细胞损伤还少,那么还有一个就是前面就是我们算是靶点,假如我们不管就算出靶点在什么地方,那就是猝死对吧,我们知道就是促使越来越多,越来越年年轻化,特别是有些心梗虽然救回来。
但是他有些疤痕留下来,有些扩张性心肌病或者肥厚性心肌病,特别是肥厚性心病呃,我看了个报道,就是年轻人呢就猝死,有1%都是肥厚性心肌病,在这呢就是我们现在呢就是装ICD,就是临床上了嗯。
就是没有很好的方法,就好像就只有就是左左心室射血分数,这个就是35%下,那么就建议植入RCD以上,还会不就是不植入,这样就是非常不准,这样就导致就是你该植入有时候不植入,不该植入的植入。
那就是有些浪费资源,有害有失并发症,所以所以这个就非常不不准,就是我估计这二三十%了不得了,所以我们吴主任说按这一个,那么就是我们做这个我们就算的非常准,比如这是一个典型的,比如说我们一个扩张性心肌病。
就是我们那上面这模型它有些一般痕,有些,然后我们算出来就是可诱发出了心律失常,就死速也我们又发出来170呃,一十一百七十八次每分钟每呃心跳,那么实际心电图算出来是180,这非常准。
这个事先我们医生就是没有告诉告诉我们,结果我们算出来他非常惊讶,非常吃惊,嗯你这个非常准,然后这个这个患者就是听说我们建议,就植入ICD了,那么过几个月唉确实确实放电,因为这个是可以检测的。
你ICTU放电,你某年某月某某日放电,它有记录的,这个做不了假对,所以这个这个就是非常准,就是这个我们写个例子,就当时就发在中华新闻新闻海*杂志上对吧,那另外一个例子呢是反向的,就是风险非常高。
一个51岁男性,而他治房颤,入院治疗,房颤治好了,我们看他心思好像是风险很大,建议治安息的,后来没植入过几个月就猝死了,就来不及抢救,这个你打120来不及,所以这个就是我们嗯这个预测。
就是你要不要植入除颤器是吧,ICT目前我们在安贞医院,就吴永泉教授那里做了100多例了,我们统计了96%,那另外他马上也给我们另外400例,就是呃在我们市就说,那么然后他要大量的跟随访。
就是从18年开始,有有磁共振的那个那些患者数据给我们,这样就是加上随访,就是这样算算的准不准,他就非常有数了,有些有些放电呃,他初步统计比如400例的只有100多例才放电。
那说明有些有些可能就是风险不高的,也植入了对吧,所以我们这项工资这样做,包括就是安贞医院有个重大科技创新,这个项目就是这个我们在做,包括浙江省的助力研发计划,要记住,那还有一个就是房颤。
我们房颤知道就是这个房颤这个病人越来越多,我听蒋丞杨主任说有2000万,那每年现在手数量只有二十二十万台,就100%分之99还得不到有效治疗,因为就是能看上电生理这个手术的医院不多,就来不及做。
所以说因为房颤它是很多并发症的心衰啊,包括特别是中风啊,这个东西都是都是他的后遗症对吧,所以这个房颤就说这个量非常大,那么就是我们房山呢就也也一样,就是就心脏磁共振就扫描这纤维化的,就取这个绿色的。
就纤维化去,这样我们可以算出来这个病例,就是我们学生在在美国做的这个非常典型的,就是这个房颤复发了多次,而最后也没办法就是找到娜塔里,他们就是作为志愿者去做,那然后我们给他算算出来就好几个。
又有有这反应,三个左心房,右一个在右心耳,然后然后完了之后我们就手术规划,这个玩飞机慢,那是必须的,要消融的,然后我们加上另外的几个几个几个消融线,哎这个完了之后一两年之内就不再复发了。
所以这个就是这个算的还是标准啊,标准的就是我是说就跟临床医生,我就跟他们讲说就万物算不准,你原来怎么飙车就怎么飙车,我不会影响你原来的手术对吧,我只是建议这样做了之后就是我们之后嗯。
然后我们就是可以导到,就是你卡通系统里面,就是你哎这么一生就是对着那个标出来,你你笑容就OK了,这样就是节省了你标测了,所以这个方法就是我们认为一个知道,就是此处消融就仿制出所有靶点。
就内膜中层就是外膜,就是你地方都能给你标好,那那那么这样可以我们精准的就是彻底的,就是这个消融就不会漏掉,因为就是我们在电脑上模拟,就是我19个点去19个区域都给你又发一遍,这样才不会漏掉对吧。
一个初始预测,那么这个就是要不然一会会发生史书或死颤,那假如风险非常高的话,那比如说我们19个区,好多区都能诱发出来,你说明这非常非常有风险,非常高,你不支持爱心的,恐怕呃可能由于猝死风险非常大。
所以这个我们就是做的就在安贞医院,就是温泉主任谈的就做了很多了,那另外就是第三个就房颤,就是最佳效能舒适对吧,这个就是所有靶点,这就是一次性给你就是消融掉,因为房颤其实临床最大问题是复发率比较高。
像安贞医院那水*比较高,那么就是复发率就少一点,有些小医院恐怕将*一半的复发,所以这个我们假设我们希望,就是我用我们的方法,就是呃降低这个复发率是吧,就是这个就是所以就快速准确,彻底就快速。
就是很多时间我们提前给你做掉了,对这么医生上来就你理想情况下,你不要去飙车,直接按按照提供,我们提供的是靶点消融,消肿完了之后,你去诱发再诱发不足的心理是啥,那就是这个手术完了,但就飙升了。
这一步就可以省掉了,你万一还能就是诱发出来,那就年龄怎么标,怎么标识,说明我们有也有漏掉,对吧嗯,那准确就是因为你能消掉,那肯定准确也彻底,就是我所有靶点就是都帮你找出来,一一台手术就是尽可能全消掉。
这样的将来就是说复发率肯定会降低,我希望将来跟跟龙主任就是能合作,这方面就是到底行不行,就是临床医生说了算,哎这个是个方法,Ok,那我们将来就是我们诶往这个方面就推进一步,对吧咳行。

我就介绍到这,谢谢嗯。
2024北京智源大会-智慧医疗和生物系统:影像、功能与仿真 - P7:On trials and tribulations :Alejandro Frangi - 智源社区 - BV1VW421R7HV
现在是时候问你一个问题了,所以请转到下一位演讲者,franay教授,哈喽,你能听到我们吗,是呀,你可以,那太好了,好啦,所以早上好,好啦,所以我真的很感激,感激,所以你今天要在这里给我们做一个报告。
所以我用中文做了一个简短的介绍,我希望你不介意,让观众你更好,我喜金和尹伊,更快、更可持续,为更好和更公*的护理提供可持续医疗器械。

谢谢你,附件,我现在离开舞台给你,完美非常感谢,我可以拿到幻灯片,你现在应该能看到幻灯片了,如此正确,好啦,完美,所以呃,各位下午好,嗯,所以能够展示我们的一些作品是很好的。
并能够在这种情况下做到这一点,嗯,所以为了给一点上下文,我实际上是曼彻斯特克里斯汀潘古研究所的主任,它专注于健康技术,研究和创新,我们有许多感兴趣的领域,包括人工智能和数字健康,计算医学与生物学。
先进的干预措施和设备,而且你知道,当我们遇到挑战时,在许多领域,我们特别有兴趣解决或使用这些技术,特别是这次演讲与三个方面的挑战有关,它是关于以更快和可持续的方式带来更安全的干预措施。
如果你明年有兴趣来参观我们,你有一个很好的机会在医学上进行虚拟成像试验,六月份将在曼彻斯特竞选的老朋友们--大约这个时候,所以我今天要讲的主题是集中在一个非常重要的任务上,这是每个临床医生都应该关注的。
他们虚伪的誓言,这是关于减少你知道的不伤害病人作为第一步,如果我们看看我们在健康科学中进行医疗产品创新的方式,无论是药品还是医疗器械,我们都知道,这些都是非常漫长的过程,必须经历许多阶段。
以确保我们不做那部分,其根源是,有许多科学调查被用来产生证据,这是科学证据所必需的,也是为了改善医疗项目的生命周期,所以整个研发和那些应该是非常可信的来源,我们专注于自己,台架试验,论动物试验。
在人体测试中,所有这些都是为了确定安全性和有效性,嗯考虑,现在的问题是,他们有吗,还是它们真的像我们认为的那样有效,确保安全有效,所以我们知道这十种方法中的每一种都有许多局限性,我不打算把这些都看完。
但我们都知道那个板凳,动物和人体试验,毕竟,干预措施如何在普通人群中发挥作用的不同模型,现在如果我专注于今天,主要在医疗器械上,哪个是我个人工作更多的领域,生产一个新的数字装置*均大约五个,四百万。
但范围很广,这是你知道的一般复杂设备,正如您在这张幻灯片中所看到的,概念证明,一直到发布营销研究,没有几个阶段的损耗率和失败概率都很高,在每一个步骤中,我们也知道,呃,从一项研究中,最*的一项研究。
那个,嗯,五大最重要的根源,呃,对医疗器械的需求,根据食品和药物管理局,呃,在班级群里,一个设备超过50%是由于设计设备设计问题,在所有类别的召回中,*30%,或*两百款设备或款式。
所以我们确实有一个严重的问题,最后去结束这场音乐会,你知道的,美国的植入文件研究表明,在十年的时间里,在许多设备中,已经有非常多的死亡和严重的不良影响,所有通过FDA许可的设备和产品。
我们在英国也有类似的证据,所以这不仅仅是美国的问题,我敢打赌,你们在中国也有类似的问题,就在几周前,十一三,这个装置被从市场上撤下了,所以这是一个普通的设备,你知道的,嗯,两百多人受伤十四人死亡。
如果我给你一份所有回忆的清单,就在2424,只有在食品和药物管理局,我们还没走到一半,如果你今天跳上飞机,你知道你有一千万分之一,在车祸中死亡的机会,在一辆商用车里,在商用飞机中。
如果你做一个随机对照试验,你没有,暂时没有证据,不是很,在文献中没有很好的数字,这只是为了给你一个迹象,病人有什么风险,参加硅试验时,这应该是一个非常受控制的场景,所以我们需要思考以非常不同的方式做事。
用我的语言,嗯,我翻译这个想法,当然先不要伤害到模拟,这就是我想向你解释的,我们要做的是,我想这真是难以置信,在医疗保健方面,我们仍然这样做,嗯测试,物理测试作为主要证据来源,当在许多其他行业。
如汽车和航空航天,嗯,这是相反的,事实上,在我们真正去构建和测试之前,我们倾向于做大部分的模拟,你可能会争辩说,医疗保健是非常不同的,要复杂得多,我会挑战一下,我想如果你只是单纯地认为,例如。
在航空航天部门,这些都是多尺度的问题,高度监管,任务关键,有很多不确定性,在过去的二三十年里,他们经历了一场变革,从实体到虚拟,所以说,我的问题是为什么,我们不应该在医疗保健领域做同样的事情。
如果你希望在计算和医学领域有一个分支,更广泛地说,是有效地使用基于计算机的测试或tr,在高度受控的虚拟条件下,具有高度详细的预测模型,或者虚拟队列实际上试图在早期代表,我们稍后会发现的情况。
当我们进行人体测试时,所以这个情节很重要,如果你,如果你看看我们今天所做的,我们今天要做的基本上是我们把这里的情节做得很好,我们倾向于开发新技术,很快我们就想进行临床前测试和临床测试。
因为你知道如果你是一个小企业,你有投资者在你的脖子上,他们会想确切地知道,你知道什么是效率,您需要相当快地结束您的设计,并开始进行测试,以显示一些证据,现在呢,问题是如果你,如果你对不起。
我应该说如果这是生命周期,当然啦,水*和垂直是您识别的设计问题的数量,你需要解决,所以你倾向于在早期解决这些问题中的很少一部分,因为你测试不够,你的努力,你在管道里走得越深,如果你犯了一个错误。
你得回到起点,费用是,你知道的,越陷越深,所以我们在硅方法中提出的是,我们真的能找到以更便宜和计算的方式进行测试的方法吗,所以我们做了一个更多样化和详尽的测试,以及设计师空间Vicspace的探索。
对不起,所以当我们进行人体测试的时候,我们面临着这些创新失败的巨大风险,但我们需要以这种早期虚拟测试尽可能多地代表的方式来做到这一点,与人体试验或物理测试相同的复杂性和多样性。
所以我今天要给你们看一个例子,主要围绕着大脑异常,这是我们多年来一直在研究的领域,但如果我给你看你知道,三十多年的医疗器械发展本质上是一堆电线,仍有20%的并发症,*3%的死亡率。
我想知道为什么我们不能做类似的事情,就像航空航天,你知道的,计算测试,我们可以证明你知道差异,例如,来自相同的装置和不同的解剖结构,或以不同方式植入同一装置,了解我们的技术,你可以,我可能会问你自己。
你知道这些技术中哪一种是最好的,实际上,在所有这些硅胶方法中,重要的是要识别什么,其他的都只是模型,所有这些从根本上来说都是错误的,但其中一些可能有助于回答一个特定的问题,所以这并不是说硅将取代一切。
还是坚持人体随机对照试验,好像他们是完美的黄金标准,我们知道随机对照试验本身就充满了局限性,在偏见方面,你知道的,选择偏差,嗯,处理一些情况的复杂性,比如,例如罕见病,在儿科,在联合治疗中。
做一个随机对照试验,在某些方面是实际的、道德的或不可能的,所以我们提倡的,但是我们需要所有这些假证据,你不应该用三个,如果你有四个证据来源,并将它们结合在一起,你知道这是我的方式。
以减少回答和完善人体试验为目标,其他形式的试验也是可能的,例如,我们也许可以通过更好地理解,我们试图测量的影响的大小,所以我们可以做得更好,我们也许可以通过识别惊险和模拟来减少人体试验。
一种特定的技术永远不会成功,所以我们不需要做试验,病人的风险,但也有那些试图投资于这些技术的公司的资本,最后,在某些情况下,我们也可以替换,设备,但你也可以,然后呢,例如,更换电路板,监管委员会,例如。
在我们没有足够的布局信息的区域,现在给你一个例子,关于这可能产生的影响,这是一项由一家非常著名的制造商开发的医疗设备的研究,他们通过使用硅胶方法表明,他们可以提前两年上市,它们减少了对人体测试的需求。
大约250个不需要的病人,因为它们可以在没有它们的情况下显示效果,这减少了大约一千万美元的试验费用,并增加了可以获得这种生活的病人的数量,节省技术约一万,仅仅因为你有两年的时间,你知道的。
早期留置权开始用这种技术治疗病人,所以这种影响可能是巨大的,现在我们准备好黄金时段了吗,现在有很多活动,在澳大利亚,在美国,他们正在更新他们的指导方针,开始将硅方法纳入,也是一些新的指导意见即将出台。
嗯,也有机构在采取这两个步骤,就像需要,你知道的,多项监管程序未要求动物试验,在这种情况下是为了,正如我所说,有一些指南即将到来,FDA已于去年11月和7月提供医疗器械资质报告指南,工具。
用于医疗设备的,开发工具或用于产生医疗器械证据的工具,它们也为计算模型提供了框架的可信度,在愤世嫉俗的世界里,也有一个实践社区正在成长,在英国硅胶,我一会儿就会提到,他们中的一些人正在生产,你知道的。
试图生成良好的文档,良好的模拟实践,与良好的实验室做法类似,或良好的制造规范,如果你有兴趣了解更多的鸟类联盟,在欧洲和英国,更具体地说,在英国,他们有实践社区,他们也在制作文件,为片场提供思想领导。
就像英国的风景报告一样,在那里你可以找到十二个案例研究和一些建议,也是最*,基于世界工程院联合举办的一些活动,图片版权和硅酸盐英国网络,所有的证据都表明,例如,有,他们在采用监管方面的障碍。
监管和硅监管资源主要是该行业的不确定性,关于建模和仿真,还有一个事实是,有很多模型在那里,但并不是所有的公司都有很好的成熟度和可信度标准,你知道的,质量,受过更好训练和更多训练的人,因此。
拥有正确建模和仿真技能的人数不足,那个可以,你知道的,通过这些手段解释和评估证据,还有许多其他的事情,但这是前三名,所以我现在想展示,关于所有这些付诸实践的几个例子,我想完全展示的一个例子。
然后如果我有一点时间,我将展示其他几个较短的例子,是一个完整的端到端的硅试验经验,这表明你可以重现真实的审判,如何将物理学结合起来,生物学与生理学,以及这些试验如何开始产生新的行为。
意思是你的模型中的硬线,但实际上是有道理的,它们是由他们产生的全新发现,所以我将作为一个案例研究,一种分流装置,所以这是一个非常密集整齐的支架,就像你在习惯中加入的结构。
作用机制是将动脉瘤的血流转移到主流,动脉瘤,血液流动停滞,这就产生了绘图,你用,高度密集的街道,但你也允许他们有一些可能性,所以你去关闭穿孔动脉,这是非常重要的维持,嗯,你知道大脑的血液供应。
现在这些地块一旦形成就关闭了单位,关闭非理性,嗯,从血液会流入动脉瘤,最终从循环中恢复并照亮它,嗯,那是一种理论,设备和我要展示,是一种流动,在节拍器的血管装置上有个图标,它是在2011年推出的。
这里的橙色区域,你看到它是如何在短短几年内占据大部分市场的,嗯,在这个空间里,但是你可以看到还有很多其他的技术,它们的寿命不是很大,你仍然知道它是怎么运行的,嗯,每一个房客都要接受随机对照试验。
所以大量的测试,所以这个过程可能是七年,然后你可能只是在市场上,在一项新技术出现并取代你之前的五年,不仅仅是,你知道的,快速技术看这个表,你只知道这些,如果你没有深入到所有的细节。
每一排都是动脉瘤的不同装置,对许多人来说,很多班,他们都经历了同样的过程,想想就觉得很疯狂,那么当硅试验时我们该怎么办,假设我们有一个装置,所以我们谈话的每个人,假设我们有一个代表人口的解剖模型库。
所以在这里,例如,在英国,我们正试图在地区一级这样做,这样我们就可以接触到成千上万的解剖模型,所以对于这些模型中的每一个,我们要做的是,我们要把这个装置植入他们每个人体内,我们还将定义一个度量。
一个游戏,成功的衡量标准,在这种情况下,是所谓的最大时间减少,颈部*均速度,这告诉你现在有多少流经颈部的血液被消除了,你把你的设备,根据这个指标,你会争辩说这个装置是一个更好的深层形式。
在这个病人身上比在这个病人身上好,因为在这里需要百分之六十四的血液供应,而在这里只需要27%,你看这个数字将取决于病人,我们可以做的另一件事是,如果你有当设备,你可以生成生理条件的模型。
看看当这些病人经历休息和压力时会发生什么,运动,休息和压力条件,又是你,您将看到,在这种情况下或技术结果中,成功的度量取决于,你知道的,即使是同样的解剖结构,这取决于你是否在休息和锻炼同一设备,当然。
你可以把竞争的设备放在一起,开始看看你是否知道,在特定解剖结构中的设备a和设备b,或在某一特定群体中,所以说,实施这些二氧化硅试验之一,意味着您需要实现一个复杂的模拟管道,从路上的图像到三维模型。
设备本身的模型,生理边界条件模型,解决物理问题,然后解决生物化学,在这种密谋的情况下,我不打算多谈血块小组的模式,但这是一个相对复杂的模型,它模拟了血液相关性的生化途径,在底部。
只是在这个管道中使用的一些出版物,但可能是审判,一分钟后我将向你们展示大约50篇期刊论文,多年来,其中一些实际上没有在审判中使用,但它们被用来识别我们所做的假设,有效的,你也知道,在我们接管之前。
最大的问题是,硅试验能复制和扩展传统临床试验能给你的东西吗,我想让你相信答案是肯定的,所以大约两年前,我们在《自然通讯》上发表了一篇论文,论文的标题正是我们可以做到这一点,为了让你们了解这项研究是什么。
所以我们拿着那个设备向你解释了电源和主设备,嗯,你也知道,只是给你一个想法,的,那个装置的移交从科学出版物开始花了八年时间,招聘六年,只有110个病人,可能在3000万到4000万美元之间。
现在他们中的许多人,我等下再谈,但这就是Sincero试验的类型是如何实现的,所以我们选择了一组有相同纳入和排除标准的患者,和相似的特征,两个证明,这是第二次试验,他们从大动脉瘤变成了小动脉瘤。
所以他们想证明图书试验的结论是否从,有一种算法,然后是渴望,和一个完成的注册表,是营销来证明你知道这在后营销环境中再次被掩盖了,但是如果你把所有的病人加起来,他们为免费试用所做的,你不可能有五百个病人。
所以你就建立了一个生理边界条件的模型,你创造了我们所说的团队时代,即对于每一个几何学,在这项特殊的研究中,我们将产生许多不同的生理状态,我们要看看正常的,紧张和高血压表型,然后这些点代表你知道。
生理学与解剖学与设备的结合,给你一个虚拟实验或一个虚拟病人,对于其中的每一个,我们要做的是,我们要植入一个特殊的装置,如果我们有不止一个设备,我们可以把它们都植入,所以你不必担心这里的随机化。
然后你就可以解决模糊的斯托克斯方程的物理问题,看血流量,你可以解决,例如,你可以模拟嗯,粒子流,所以你可以在右边看到,在你搭好帐篷后,嗯,最终原因是停留时间增加,颗粒清晰,晚于颗粒十。
这意味着你实际上有一个更低的流量,一旦你这么做了,您可以针对不同的生理状态模拟这些场景,所以在上半部分,我给你们看的是一个前后分流植入的例子,对于正常重症患者,当病人高血压时会发生什么,好啦,你表现出。
呃,这个核磁共振,这是减少流量的措施,从五十七到四十四,所以实际上你有高血压患者,你往往对流量减少有更高的影响,然后你就可以解决你的化学反应,在这里你可以看到一些非常有趣的东西,同一个病人,同一设备。
一切都一样,除了右边那个高血压,左边那个是无张力的,你看在高血压的情况下,凝块开始形成,也进入了ANM的眼枝,这可能是灾难性的,因为这意味着你会损害那艘船的专利,并产生缺血性提取物。
你可能会看到说这只是在文学中得到了很好的发展,有一个,事实上,一些轶事案例不建议将这些设备放在这种情况下,但不是真正的人,我真的不明白,人们认为如果你有正弦,你应该输入,我们发现,在二十七个中的二十个。
在我们的硅试验中的82个案例中,其中27个有侧枝,在他们中的每一个人身上,当你有正常的高血压表型,你不会密谋进入飞船,如果你有一个高血压患者,你总是系统地创造一个情节,所以这可能是装置和解剖结构的结合。
导致这种新行为的生理学,有趣的是,也许我们不需要改进这些病人的设备,我们需要改进的地方,通过实际为病人提供,好让他们准备得更好,然后呢,当然啦,这些病人将不得不在他们的余生中保持高血压饮食。
这十个人中的大多数都没有,因为他们只有一百个病人,你没有控制高血压,在很多情况下,他们甚至没有报告这些患者的高血压范围,好啦,所以一旦你做了所有这些实验,这就像一个常规的审判。
你可以做你知道的任何你的选择,你可以用各种方式来想象这一点,那么我们的研究发生了什么,嗯,我们展示的是,这些是我在他们面前提到的三个试验的结果,所以记住他们每一个八年,二亿三千万。
所以我们在这项只花了大约三个月的研究中展示了,每个高血压患者的反应率都比正常张量低,但如果你把这两个加起来,你得到大约35%,与其他研究相同,不同的是,现在我们明白了70,百分之五是所有这些影响的综合。
这就是为什么,可能这些病人我们没有任何特定的高血压控制,并被赋予这种失常的表现,嗯不用吃很多披萨,因为我知道我现在时间很紧,但我们也展示了,你可以使用这些技术来理解标签,部分设备的使用。
所以这是为了后路交流,这些条目实际上不是我之前展示的设备批准的一部分,我们所展示的是,这些设备在,呃,后路交流的患者,但更重要的是,但对黑人和西班牙裔少数族裔有偏见。
所以你甚至可以开始考虑公*和公*的因素,在照顾中,通过了解你知道监管证据有多公*,首先要跳过这个,第三个例子是,你可以使用这些技术,不仅仅是批准这个装置,同时还要绘制一张分层图。
所以我要把它换成另一个设备,所以这是一个医学,它是它是一个,是个线圈,所以你在硬币里填一个字,他们往往有羞耻记忆,他们有时会有一些长生不老的材料,得到大量的长生不老的材料。
他们每个人都有他们的尝试和冷静的老练,你要做的就是把这些电话打到动脉瘤里,尽可能多地填充动脉瘤,有一种包装叫做包装密度或包装率,也就是金属的体积,所以音量,是啊,是啊,金属体积超过算法体积,如此有效。
你失败了多少,Gener,所以我们开发了虚拟卷取技术,并通过动物实验和虚拟成像技术来评估这些,但是在硅变换中你能用什么,所以如果你。

如果你看这个图,百分之二十,二五,三个,支持利率是百分之二,好啦,所以我们把线圈,每种颜色都是不同的颜色,我们知道它们的直径,我们知道他们的台词,所以我们基本上知道我们填充了多少体积,如果你把25。
32%的调用--你称之为配置A,因为这就像一个随机场。

你实际上可以把所有这些线圈拿出来再放回去,然后你会有配置b,然后你可以把它们拿出来再放回去,你可以有一个配置,所以你可以这样做,你想做多少次就做多少次,不只是三个,当然。
这就像用同样的疗法多次治疗同一个病人,但是由不同的运营商来做,在这种情况下,这很重要,因为对部署建模是如此复杂,但实际上这看起来更像是一个随机的随机表现,对呀,所以处理的一个方法是。
即通过观察低还原效应的表现,作为器件填料密度的函数,所以你说的是包装密度越高,有一点,但你不停地打电话已经不重要了,您已经实现了流减少的ytotic行为,您可以,如果你把更多的电话。
唯一能做的就是浪费钱,以每通电话一千英镑的价格,可能会给病人带来危险,因为你只能给动脉瘤加压使其破裂,如果你少吃一点,这个阈值,你会遇到的问题,你将有,让航向不够紧凑,动脉瘤最终会重新开放。
这是在现在的文献中观察到的,有趣的是,在我们发表的作品之前大约十年,另一个小组做了人体试验,显示有更大填充物的动脉瘤,一场,而且随着较低的包装率,因为我解释过的原因,他们表明。
这取决于原因是否是脖子小宽,这当然是合乎逻辑的,因为我们说的是你可以给一个病人,对干预措施进行具体规划,并给出最佳规划,这里有另一个例子,也许设备本身不需要改进,你需要改进的地方,你如何管理它。
所以你对它进行了最佳的管理,好啦,所以你可以得到世界上最好的建议,但如果你把它,你知道低于包装费,它就是不起作用,我现在要结束我的演讲了,得出一些结论。

我想说的是,我希望我让你相信医疗产品创新正处于拐点,法规需要现代化,以跟上技术的步伐,建模和模拟在未来的调节途径中是必不可少的,这既是一个技术问题,因为有正确的模型,但这也是一种文化转变。
建立对两个病人的信任,因此起点很小,很重要,在某些地区,也许在硅胶试验中最有可能首先对他人产生影响,我们不应该从那里开始,第一个TA在哪里,如果你是一家公司,为什么你在选择板凳之前没有走模拟路线。
动物和人体试验,只有当你不能通过模拟得出这些结论时,然后通过常规的其他途径,我希望你们中的一些人会对此感到兴奋,并试图加入我们的努力,如果你有兴趣,你知道的,通过Enlica英国网络加入工作组。
在那里我们有来自世界各地的人,谢谢你,非常感谢,ANX,我们真的很喜欢你的谈话,这次谈话很有趣,而且你做的事情真的很令人兴奋和刺激,好啦,非常感谢,祝你今天过得愉快,也是一个美好的星期五。
所以因为什一税的时间表,所以我们,呃,呃,我们毫无疑问地放你走,好啦,我希望观众稍后通过您发送电子邮件与您联系,非常感谢,Anax,好啦,再次感谢,掌声鼓励,是呀,罚款。
2024北京智源大会-智慧医疗和生物系统:影像、功能与仿真 - P8:智慧医学与生命系统目前挑战与应对策略 - 智源社区 - BV1VW421R7HV
尊敬的各位专家,接下来我们进入下一个专题,下一个专题是智慧医学与生命系统的挑,战与应对策略,我们的第一位讲者来自朱天刚教授,朱天刚教授是北京大学人民医院,心血管内科主任医师,超声心动图室主任。
长期从事心血管疾病的临床科研和教学工作,擅长先天性先先天性心脏病,心肌病,风心病和冠心病的诊断和治疗,现任美国超声心动图学会终身荣誉会员,亚太超声心动图协会执行理事,中国医疗保健国际交流促进会常务理事。
中国医师协会,超声心动图工作委员会副主任等职务,在european heart journal,heart regime等顶级期刊发表论文150余篇,朱教授的报告题目是超声医学。
人工辅助智能诊断的困惑与挑战,有请朱教授啊,谢谢啊,谢谢宏贵教授的邀请,呃,非常高兴啊,第一次参加人工智能这个大会,以前那个十几年前参参加过一次啊,医疗大数据的这个啊研讨会,当时我就啊。
觉得当时的医疗大数据是不是大数据,而是数据大啊,到现在目前我感觉仍然是数据大,没有大数据呃,因为我是今天刚刚收到呃,这个临汾市中心医院,他们一个体检中心4年的体检检查的结果,发给我的有16万。
结果是8000个人次的数据,结果筛查出来结果大概一半的人不能用啊,一般人不能用,所以这数据很大,那也用不了,我今天跟大家就一起来分享,就是啊什么人工智能在这个啊,这个呃心脏影像方面的应用啊。
我觉得人工智能在医学方面有很多热点啊,就是大家可能在这个啊跟医疗环境里面有关的,可能一个是做服务和管理层,比如说那个分诊,那问诊呢现在做的很好了,另外还有就是辅助辅助诊断这个层次,就诊断工具啊。
这个怎么去应用一些技术啊,做一些这个医疗规划和导航,还有一个就是啊智能知识的提升,这个也做的这个是比较好了,呃,这是班门弄斧了,大家都是这方面专家,我想就是咱们需要人工智能驱动的话,一个是要大数据。
第二个就是大模型,第三个是大算力啊,这个都是我们目前这个国家重点这个啊扶持的,大家可以看,就是说我们啊人工智能领域,在医学领域的应用呢是非常受到重视的,有医学影像智能诊断,又是语音的电子病例。
癌症的智能诊断,那个已经是非常热热门,但是呢就是人工智能加医学影像的话,现在目前就是说在放射科是已经非常好了啊,就做那个啊肺结节呀,还有就是这个大家经历过这个,3年的这个疫情啊,就是大家一到医院去。
可能就是给你做个胸片啊,做个胸片,然后查这个肺部有没有这个感染,同时的话在这个照胸片做ct的过程中,可能发现你的肺部一些病变,这样子的话就可以就是很快的给你进行诊断,目前呢有一些啊。
这个啊公司已经做了这方面的,很多的这种啊研究呃,大家可以看一看,就是说我们这个啊应用场景,假如说我们这个病人就像刚才啊李金铭呃,李李建*主任讲的一样,这个病人我胸痛来了之后,我们怎么样确认。
第一个就是问诊,就做影像检查,做化验啊,这是我们的医疗场景,那么如果是心脏病人的话,通常是第一个就是想到了要做个心电图,第二个想到要做一个心脏超声啊,那么做了心脏超声的时候发现有问题的时候。
哎接着可能就做一个ct啊,或者是做一个ct a就是冠状动脉血流呃,这个冠状动脉狭窄的这个评估,如果这个病有缺血的话,他就是做一个什么啊,做一个心肌灌注的评估,还有就是说或者做一个心肌核磁。
看看心肌有没有这个啊这个纤维化,那么这样子的话,就是大家可以看到这个医学影像,这是最后要到医院去,需不需要做支架,也要做一个光明照影,大家看看呢,就是说这是铁路警察各管一段啊,呃相互不干涉。
实际上心脏是一个整体呃,大家知道就是心脏的话,它是有自己的这个传导系统啊,它电传导就刚才很多专家讲讲,第二个他有机械系统,就是那瓣膜关闭,把那个血给他闭住,不让它出去,不让它反流啊,这是机械系统。
同时的话它又有什么呢,它有内分泌系统,它自己还可以分泌一些激素啊,另外一个他要是管道系统,大家可以看,那就是关动脉狭不狭窄啊,有没有这个,所以它是一个完整的一个独立系统,我们现在人为的把它分开了啊。
人为的把它分开了之后,你现在用的大数据来做它的话,你最好是能够把这些数据能给融合成一个,*台啊,这是我自己啊理解的啊,还有比如说心肌核素,看的心肌代谢是不是有异常,所以这些都是我们需要。
将来可能把它整合在一起的啊,所以影像医学影像就是贯穿了整个的诊疗过程,包括我们诊断之后治疗,治疗之后的这个啊,临床预后和评估都会什么都会跟这有关,所以带来医学AI的团队,可能这些专家的话都是啊。
这个第一位专家就是做放射的啊,这是院士,第二位专家的话是做了一个甲状腺啊,这个超声的这个AI的,后面两位专家都是做放射科的,专呃这个这个呃这个AI的呃,但是呢就是对人心脏超声。
这一块啊就是说很难去去涉足啊,以前跟呃王王光贤教授我们也试过啊,试过就是这个里面有很多的这个问题,所以今天想有这个机会,大家如果说是能一起合作,我觉得可能把它做得很好,但是有很多企业和很多的公司都在做。
这个医学影像,真正能够就是推到临床应用的,实际上还是极少数啊,极少数,那么就是说国内外的各种影像公,主要是集中在放射科,少数的公司呢是用于啊致力于病理的研究,另外隔壁的隔壁的公司呢都做心脏。
核医学的一种研究,有一些公司致力于超生,但是全都不在心脏啊,我们又至少我们国内的这个公司呢,但是美国的一些公司和欧洲的一些公司,它已经开始把人工智能,这个能够植入到机器里面去了。
就是说做一些简单的这种啊,所以分数的评估应该说是在十几年前,美国硅谷有一家公司曾经希望在中国跟我合作,来做一个这个人工智能的这种自动分析系统,实际上他那个系统非常好,最后没谈成啊。
就是让他就是有一个远见,我们只要把那个超人图像,把那一抓抓到那个photo里面去,它就自动的算出事业事业分数出来,他做了个颈动脉,那个颈动脉那个超神大概是从上从下往上扫查,你这样把所有的图像一抓。
那个photo里面去,他那个软件里面去,它就自动的给你三维重建,然后斑块给你切割什么东西呢,那个就是CD延线已经做的非常好了,但是可惜就是国内的公司,我跟很多的这个科研院所,比如北大的这个新科院啊。
以前是黄蓉院长,但是当年一当当当当校长,现在这个调到中南大学当校长去了,还有就是呃这个清华的,还有中科院的,但是一做起来几乎都是半路就停掉了啊,我遇到很多困难啊,那么现在困难在那个地方,就是为什么。
就是说我们这个超声心动这个影像,在国内的这个一些公司网宣布,第一个就是图像存储这个量比较大,呃,我就讲一讲为什么这个量大,就是说我们啊曾经就更新一个信息系统,电信任。
我们把超所有就是一天的检查的超人数据,直接传到我们医院的云*台,那个啊这个这个呃这个服务器上面去,结果不到一个礼拜,第五天,当了全村全院的这个服务器就停下来了啊,所以这个量特别大。
就是这一般服务器它成熟不了啊,另外一个就是标准化和规范化图像啊,这个流程不一样,各个老师教的不一样,有的是先打一个长轴,有的是先打一个短轴,有的先打心尖四枪,所以就是你每个医院都不一样啊。
就是另外就是获得数据的确定的啊,这个标化也不一致,另外就是结构化的数据不统一,我们曾经计划,就是把北京大学十家的这个教学医院啊,包括我们附属附属医院,曾经想把那个超声系统图的这个报告能够统一。
结果我们讨论了半天,最后我们北医三家自己都同意不了啊,为什么,因为不同的医院医院进来了,公司做这个工作站,做了服务器呃,做的那个啊,这个这个超声报告的这个服务器都是不一样的。
公司你要把三家公司统一把它弄到一起啊,基本是不可能的啊,所以就是说啊后来也没办法了,这个事不了了,之所以不同的疾病的话,获得的数据的再定义和结构化数据的变化,它也是不一样的,就像我们大家看的。
就是说你说你胸疼啊,胸疼的话,大家可以诊断可能是一个心肌缺血,但是还有可能不是心肌缺血的啊,比如食道有病问题的时候,他也胸疼,比如说我们这得了这个呃就是什么,就是那个嗯就是那个呃那个皮肌炎的时候。
也心胸疼呃,还有一个就是我们刚前三个礼拜,一个一个朋友的父亲呃,他那个呃老是心疼,半夜疼,然后就是做了一次关门照应,这个过两天还是疼,关门照影是阴性的,结果没办法,医生又去做一次关门造影。
所以这万分造影结果是什么呢,也是正常的,再把那个呃病人那就做个心电图的时候,那个呃做个超声,心动的超声仪拉起来时什么带状疱疹,就是一个病毒感染,做了两次冠脉造影,你说所以我就是说这个有些有些数据。
或者是什么呢,只能说明是一些啊是具体的数据,但是我们真的需要把所有的这个临床啊,和这个啊其他的数据都要整合在一起啊,就是还有就是我们就需要有算法上面有突破啊,就是不同的疾病可能需要不同的计算模型啊。
这样因为他们的数据是这个性质是不一样的啊,这个是还有就不同的医院的影像学的数据,同质性的这个差别比较大啊,我们就觉得这个超声心动图来讲嘛,呃三步啊三无,这是我老是跟他们讲,你们三无一个是什么呢。
没有心电图连接啊,不知道哪个是收缩期,哪个舒张期,有经验的,可能就拿来做舒张末期和收缩末期的定位,那一帧,这个如果不接心电图的话,也是有问题的,所以就是说啊不录郁之病人基本信息。
还有就是流程呢就是各行其道,随心所欲,基本测量参数不统一,重要的这个测量参数有缺失,还有这个啊缺乏统一的集结构化数据报告,这个超声报告的文字格式大家也不同意,所以描述起来也是五花八门啊。
所以另外就没有中国的这个专家共识,所以就是很多情况下,我们是借国际的一些经验,所以我们啊时不时遥望星空哀叹,还是我们要负负负重砥砺前行的,所以就说我们只能借借助国国际上的一些经验,来做这些什么。
我们想就是说我们自己是刚刚开始啊,真正有很多做的非常好的美国人,这是中国的这个清华大学王连英教授,他们曾经做了一些啊,这个图像的智能识别和这个深度学习,另外的话还有其他的专家也做了这些东西啊。
就是美国的一些专家被这个超星图,这个图像进行分类分隔,以及这个定啊,这个这个标注定位在这做的非常好,这次呃我们看他也用各种的这个啊,算法或者神经啊,深度学习的模型来进行这个啊,就是计算。
这都是做了很多的工作,但是这大部分都是在国外做的啊,所以我就想就是说这个是超声图像,它可能需要我们用不同的这个呃,这个技术来进行这个啊进行这个啊计算啊,所以我们的想的就是理想的话是比较丰满,现实很骨感。
就说我们能够做些什么,第一个就是说我们希望就是工程啊,工作流程的规范化,那么这个是可能跟咱们没关系,但是我觉得我们可以就是倒逼厂家,将来可能就是在这个做超声仪器的时候,把一些标准的图像怎么第一步。
第二步,这样,第二个数据存获取和定量分,析的这种标准化和规范化,还有图文报告的结构化和规范化,这个是需要我们将来去做的,所以我们期望就是说这个啊,图像这个获取和流程的这个标准化和规范化啊。
有利于统一的图像啊,但是呢现在的啧,有一些这个呃公司的话已经做出来,就是我们不需要心电图,就是我们自动识别收缩器和舒张器,来进行这个自动的这个内膜的勾画和标注,然后呢就是对这个啊这个心脏进行切割。
所以有可能我觉得就是将来可能这是最现实的,对中国人是最现实的,因为没美国人和欧洲人做一个超长线路图,是45分钟到一个小时,中国一个小时要做一个事,做一个做个超声心动图,你几乎就没活,没法活了啊。
医院就把你开掉了,你知道吗,咱们5分钟啊,做一个病人都算算快的了啊,算是算是慢的了,我们的病人下就散了,上了就散了,他走了就说两个词,一个是叫terrible,第二个词就是unbelievable。
所以嘿他觉得可怕,那个太可怕了,所以咱们就是现在医院的这个工作量非常大,所以临床医生基本不接心电图,为什么不接心呢,就是不接心电图,就是用于接新能耽误时间啊,所以我觉得就是可能。
我们可能就是说有一些新的突破啊,就是说我觉得就是可能,还有就是面临着一些问题,我们这是什么问题,一个是刚才就是很多老师也讲过,就是数据的隐私和安全,医院是对医学图像是有限制的,他不是说可以公开发给你。
发给你,还有一个就是缺乏高质量的图像,这个标注集啊,我们国内基本上没有啊,连法院都没有啊,我这个法院审稿的时候,我说你们怎么自己不建立这个数据库,他说我们得用美国的数据库,我就把那个文章给他K了。
就不能那么要缺乏这个解释的呃,这个透明度啊,也就是说我们医生不能对AI的结果来进行,解释的话,你将来可能很麻烦,还有就是个模型的泛化能力是有限的啊,就是这个体差异比较大,你要想普适性的话。
可能就是不同的疾病,我们要建立模型,我觉得就是说无论是对冠心病啊,线性病啊,肺胃心肌病啊,或者是什么其他病,所以就是说,还有一个就是有些新的技术在更新啊,这我们要适应,也就是多模态影像,我们综合评估。
我觉得将来这个啊,这个这个将是这个这个大的这个可能性啊,呃这是一个病人啊,我们看看这个病人的话,他的发现心肌梗死,然后就是啊后来也这个出现食欲嘛增多症,然后这个病人的话就是看大家看超生。
他这里面就这么多数据,那么入院检查的时候,心肌损伤标志物数据,血淋的数据啊,床旁超声的数据,还CCTA的数据,还有心肌核素的数据,还有超常性肿瘤数据,这些数据都是对我们诊断这个病,或治疗这个病有效的。
所以就是说这个病人肝一诊断十几个病,你说你AI怎么去算它,你怎么去评估它需要大模型,需要不同的模型,我们来进行这个评估,所以我们看看这个超声心动只是一个方面啊。

所以我觉得就是说可能我们这个关门就是关门,CT啊,这个关门造影的结果啊,我们怎么去读它,这个就是说我们看这个关门关他们超呃,超生的这个报告,还有就是这种评估这种描述,所以我也想。
就是说我们可能将来发展方向是超时加上AI啊,这个就是主要是的动态的连续的数据处理,另外一个就是啊,超声献图是超生里面的南上之南啊,就是所以我将来就是说银行有人借,现在研发机器人啊。
做这个机器臂来进行扫查,但是呢这个还很遥远,但我觉得就是云*台加上这个AI的大数据,或者大模型,不同大模型结合起来,我觉得将来是啊我们可以突破的好谢谢大家,好感谢朱教授的精彩报告。
接下来我们第二位讲者来自龙德勇教授,罗聪敏教授是首都医科大学附属北京安贞医院,主任医师,心律失常中心主任,兼任中国心律协会的副主任委员,青年委员会副主任委员,主要从事从事心房颤动等疑难病例的导管消融。
参与或者承担国家级科研课题20余项,发表SCI论文100余篇,获国家专利十余项,龙教授的报告,题目是,计算机模拟技术在心律失常诊疗中的应用,有请龙教授好,谢谢,非常感谢介绍。
也非常感谢张老师邀请来参加这个啊,关于嗯志源这个活动,那么对我们医学来说呢,我们现在特别流行去拥抱人工智能,因为我回顾人类的历史,最新的科技总是用于两个方面,一方面就是医学。
另一方面非常不幸都是用于战争是吧,一个是KINY,一个CV,那么其实我题目稍微变了一点,其实内容变化不大,我们心理市场是个什么专业呢,我们那个学名叫心脏电,生理上它就是电。
那么我们心脏其实跟这个房子是一样的啊,有门窗,有结构,有墙壁,那有下水管道,那也也有这个电线电灯,那我的专业就是管电电灯的,我们心脏的电跟大自然的生物电没有任何不同,我是完全一样。
只不过他这人体是个非常弱点,那么对于这个心肌常呢,其实人体获得关于心脏电的啊,很早的一些一些理解,比如说刚才有位教授讲了关于细胞电生理啊,细胞的每个电位,事实上,第一份获得心电图的个人叫是一个荷兰人。
叫ATHERINE,他通过自做了一个这样的一个心电图机,把心电图展示出来了,当然这些具体的方式我就不讲了,实际上在我们这个心电图它展示的是什么呢,我们诊断心肌市场,我们就靠心电图。
那么心电图实际上它展示的是一个两个方面,一个是时间的向量,因为在心脏的不同的部位,它收缩就是发电的时间是不一样的,它这个电是有顺序的,对于一个正常的人,他非常规整,非常有顺序的。
那么我们通过一个秒记的装置,可以把这个心电图给记录过来,我想我们每个人几乎每个家里边老人,他去医院的话,经常会做心电图,这是一个非常常见的检查,实际上我们心脏病最常见的是什么病吧,是心律失常嗯。
很多中国人都认为是高血压,实际上心率常的发病率要远远高于高血压,大家可能很多年轻人都有这种感觉,晚上熬夜了,比如说要啊做个毕业论文呢是吧,喝咖啡喝了很多咖啡,诶,觉得自己怦然心动一下是吧。
哎其实类就是早播,这个早播就是兴趣长,所以我们有时经常开玩笑说,怦然心动不一定全是爱情,那有可能是新剧场,就是这种,总之它是非常常见的,如果你要做一个筛查的话,那么心电图。
其实它除了反映这个时间的这个向量之外,它也反映一个空间的向量,为什么呢,因为他整个心脏的这个电学的初级方向,是有一定的固定的方向的,那么我们知道,我们要做心电图或者做体检的时候。
你要接胸前也接一些导联是吧,四个肢体要接些导联,像这个导联是一个立体空间的,反映了XYZ轴上不同的初级方向,它反映了这样一个概念,但是呢当你做完心电图之后,你最关心的是对一个非医学医学界的人来说。
你最关心的是啊,就是这一项内容哦,我的心电图是在正常范围之内是吧,但是实际上心电图机它看到的是什么呢,他看到的都是这些参数,这一参数就是什么,实际上是最简单的人工智能,那么它就根据心电图机。
就根据这些参数的是否正常,来判断你的心电图是否正常,当然对于我们医生来说,我们还要结合他的心电图的这个波形的移,这个变换呢是不是有微妙的改变呢,我们要结合它是由体型,是不是以往有什么心脏病史。
我们要结合去看一下,但是如果用人工智能的话,它或许它就能可以通过一份心电图,能读懂它背后的故事,这个背后的故事就是你是男的还是女的,你是高的还是矮的,你是胖的还是瘦的,你的体型是什么样的。
甚至它能根据这心电图微妙的改变来预测,在未来几年当中,你会出现什么状况,那么这就是人工智能在我们这个领域最显著,最那个显著的一个应用,另外我说过,我们只能心理市场诊断,最主要的一个诊断工具就是心电图了。
那么大家可以看出来,实际上对这种模型的识别,那么其实人工智能的能力是非常强大的,它远远超出了刚才几位老师讲的,关于在核磁在投入CT方面,这种它的能实际可实行性,它的能力会更强大,嗯其实今天你看看了。
有很多这个我们心呃关于对心脏的东西特别多,像我们心脏科也是个特别大的专业,在我们人体非常重要的器官,比如你经常听到说有人得肝病了,肝切一块肠子,得病了,肠子切一块是吧,甚至中枢得病了也可以。
毛一块也可以切掉,就知道他不是生命中枢都可以,但是我们心脏里很少说,听说哪个人把心脏切一块去治病的,心脏每每一块都不可或缺,它不能切的,所以说我关于心脏的研究总是非常啊。
就是占据了很大的临床医学的这个篇幅,那么人工智能它在我们的应用它有个什么好处,它让这种临床的合理推断变为现实,比如刚才呃朱天刚老师讲过,比如说一个人心脏肥厚了是吧,我们要通过超声去确定哦。
我的心肌是不是肥厚,因为超声它就能看这个墙壁一样的,是不是厚,是不是薄,尺寸多大,它看它结构,那么或许我们通过心电图,我们可以能预知到中间这个变化,我们可以越过这个中间的阶层,直接给他得一个临床结论。
这就是在通过一份心电图它能实现的这些目标,那么其实在我们国内,我们有一个团队啊在做曾经做过这种研究,就是通过人工智能来判断心电图,那么跟这个心电图医师进行对比,发现就是通过人工智能来读心电图。
还超过了这个心电图医师的这个水*,我们曾经有一年,在我们心血管专科会议上就搞这比赛啊,这这个让机器赌累张,让一帮博士们赌,最后是这博士们大败拜遇机器了,当然我想大家都能理解的这些东西。
就像当年那个齐盛跟那个阿尔法go败掉一样的,因为这些固定的这些模式啊,就像考医师证,说美国医师证考试啊,这个和医生怎么也考考不过,就真人怎么也考不过那个那个机器人,就这个原因。
因为对这种固定模式城市来说呢,我觉得机器它是可以非常大的优势的,那么在国内呃,在美澳呢,他们曾经有一个就是预测肥混性心肌病的,这个数据,就通过心电图来预和预测的肥混性心肌病,就像昨天刚老师。
他是做超声的,我们确定肥红心经病是肥后,我们要看超声,要看核磁,要看CT,但是他通过这个心电图来预测,发现它的负荷率和特异性都非常高的,尤其是对于年轻的患者,这个负荷率更高,因为特别强调这年轻患者。
因为他的意义就在于,很多年轻人他不知道自己心肌肥厚了,他参加各种活动,尤其是竞技性体育运动,他会发生猝死,刚才嗯夏老师曾经展了一个图片,那个图片不是一个运动员,足球运动员倒在场上吗。
大家知道那种叫拉塞尔森,他是丹麦队的10号,他当年在欧锦赛的时候,他倒到场上了,然后装了ACD,然后呃前年卡塔尔世界杯,他我发现他依然在场上带着队队长的袖标啊,这种比较极端的故事啊。
但说实话他或许他以前他要通过一些技术,因为一般的很多人体检,他不会去常规做这些细微的音微妙结构,如果我们有一种能力,通过他的常规体检的心电图,获取了它发生这种猝死的概率的话。
或许它在运动场上的悲剧就不会发生,是这样子,然后在我们新剧场领域呢,这几年因为有出现了一个特别大的一个进展,就是说我们知道新剧场有一种叫房颤,就是心房颤动,那北京的话就是叫什么啊,北京话叫心颤。
对心颤这种房颤它最大的危害就是脑中风了,因为很多人没有症状,它都以首脑中风为首发症状,而这个房产引起脑中风,致残率又非常高,那很多人你想一脑中风了,我想一个家里面只要有一个脑中风的。
整个家庭都不会幸福了,全家人都围着他转,因为他没有劳动能力了,没有生活能力了,会给家人带来很多痛苦,那么现在就是,但是我们给人群去筛查这个房颤又不太可能,你想想全国14亿人民。
每个人给他做份心电图筛查房颤,这样是非常痛苦的一件事情,但是我想大家现在都做体检,很多单位都会体检,甚至就入校是呃也要做体检,但是可以通过你体检心电图,预测你未来多少年中发生房颤的概率。
如果能通过一份单份心电图,来预测你房颤发生的概率的话,那么就可以提醒你,在啊以后的体检的密度要增加一点,比如不能像以前一年一次做的体检,我可三个月做一次体检,这样在房颤发作的时候,我可以及时发现呢。
可以避免这些啊老祖宗的这些悲剧,实际上在我们新剧场领域有个特别大的一个改,一个一个就是应用,就是我们知道我们很多新剧市场上,他的呃呃这个图视频它不动了,当然它其实啊在新剧场里面,有很多是新剧场的发发生。
它都跟折返有关,叫英文叫reentry in entry,就是什么就转圈,它围绕这个房,围绕这个呃跑道不停的转不停转,它其实第一个关于这个新商的这种折返的机制,它就来什么来自于计算机的模拟技术。
因为过去人们对这种新剧场的展示,不是很清楚机制,那么他们可以通过很多这种,把一些密集的电极放到心脏表面,然后通过计算机的方式来重建那个等视图,重建这个等式图重建什么重建的。
大家都知道这个这个地形图的等势图,比如说高度等视图,其实我后来发现啊,这个等视图不仅用于各领域,比如海拔之外,还用气压气象,就是你可以看到每天的天气图是吧,那也是一个等势图,比如哪儿下暴雨了。
那个地方红的,它它也是跟这个道理是一样的,那么我们通过这个等视图来分析,心脏的居动顺序来,你会发现它有优先的一些通道啊,就像就是说我们从出关中是吧,有些总有些必经之路,那么心脏也是这样的。
其心脏的这个电流的机动特别像流体力学,跟流体力学是非常呃特特别像的,就是非常遗憾的,这个不能动了的视频在这里,就是大家如果有机会去你看一下小溪那边水,你会经常发现有一个漩涡,为什么这水往下流。
这会有漩涡呢,漩涡的原因就是前面遇到阻力了,一阻力之后,它会回旋一下,像水或电的都是一样的,那电的流动是电压高的地方向电压低方流,那么电阻越小的地方,电流通过性越好,那水也是这样子是吧。
如果我这个河沟很*滑的话,那水流速度很快,如果这个河道有很多石头的话,砂纸的话或者河道很窄的话,它的阻力会很大是吧,都会同样的这种情况,所以它和流体血的一样的,我们新床这个特别像这种方式。
以至于我现在想是不是要用这种方式来研,研究一下我们房颤的这种这种存,这种波形的存在形式,因为房颤是特别乱的,它不是规则的电流,它非常紊乱的电流,不能动了,所以说没事,我就跳过了。
那么我们刚说到这个体表心电图是这样获取的,实际上我们获取这个心电图,在体表获取心电图,是成千上万个细胞积累在一起,形成了一个电源的变化,一个向量的变化,但实际上呢对我们心日常医生来说。
我们更关心在每一个心动瞬间,我们心脏的每一个地方它是如何跳动的,它的顺序是如何激动的,那么我们需要把电极放在心脏里边,一个电极,这个电极就像普通的电线是一模一样的,原理是一样的。
只不过是我们的设备的滤波范围也是不一样的,因为人都是弱电的,它的滤波范围是不一样,我们要滤掉这个这个交流电的的影响,我们要滤掉我们其他生物电的影响,是让你眼睛眨一下,你手动一下,你都会有电的。
我们也略有影响,但是每个地方的电流它包括两部分,一部分是真正的这个电极,下边覆盖这个细胞产生的电流,还有一个是宁静电细胞产生电流,实它是个叠加电流,如果你把电极直接放在这个地方,你是无法区分的。
那么对我们来说,我们就要想办法去区分它,如何区分这个激动的顺序或早晚。

但是我们在人体,在描述这个激动的顺序的时候呢,特别像我们照一张照片,那么比如说我们这个团队啊,这是我们我我就是好多年前,我是在这个团队里面,这是我的师傅,是我老老导师呃。
马教授说我们照照片会把老师放在中间是吧,以他为中心照个照片,但是实际上这个我刚说心理上的折返,就像照一张照片一样的,有始有终,那么我在做这个心脏顺序的描述的时候,我需要我描述的这个窗口。
要cover到我整个心脏激动的窗口,就像照一张照片一样的,我这个参考我可以以它为中心,实际上那以他为中心的话,就是前窗后窗各占一半,但实际上我也可以以他为中心,以对美女为中心,美女护士为中心。
那么以他为中心的话呢,就是啊就前一小辈,后一大辈,但是我cover的是同一帮人,但是其实实际上那这是这样一个情况,其实上我可以以我为中心,但是cover窗口可以是这样子,但是前后人数没变是吧。
这就是啊我们对这种新剧场,他这种折返机制它的理解的一个一个一个理解,如果你从一个你去hiking的话是吧,野外这个徒步的话,你从这个地方我们说诶,我们从这出发是要求沿着三角转一圈,要回到这个起始点。
因为速度不一样,我们要回到同一个路径,我们大家再汇合啊,它道理啊是一样的,那么我们把这些理念是付诸实施的,其实通过计算机技术,我们就可以重建出啊,心脏的每一个机动顺序,就像雨点落下有前有后。
但是这个雨点落下的有前有后,如果你不要以一个人为基准的话,那我们的海拔,测顶高低等视图都是以海*面为标准的,实跟这个道理啊是非常相似的,实际上我们在腔内的话,这是我们就心梗后死术的病人,刚刚夏老师讲过。
这是我们特别严重的一种死术,这个病人呢发心梗以后死出了他急性心给我发,第二周了,他心梗就发个不停,什么药物都没有效果,我们叫电风帽了,就是能卖的药物,世界上能卖的药物都没效了。
让他上人工的那种心脏替代的时候,这个时候我们刚做手术的时候,我们就发现我们把一个电极这个实际放到这上,我们呈现在我面前的第一直观是这个东西,你看这个电极有有,你看这是同一个时空时,电极的话,它有早有晚。
它是有顺序的,那么我们通过它自身的顺序的对照,通过相邻电解的对比,其实我可以把这个顺序描记出来,描记出来之后,我呈现在最后我面前,我就知道呃,因为它不能转,如果能转,大家都看的很明显。
我知道这个圈怎么转的哦。

这个圈是哪个地方是关键部分,那就需要我去阻断它,实际上对这个构建的过程,就如同是这是我们安贞医院里,比如说这个呃一个大楼的整个照片,像如果你构建的话,你知知识去某一瞬间的像素的话,就是一个像素的构成。
我构建的点越多的话,那么它整个顺序通过点构成一个面,然后再构成了整个的这样一个三维重建的啊,这样一个顺序其实过去也大,我们都很难实现的,我们现在通过这些技术的应用。
尽管尽管它不是说一个完整的一个三维重建,一个人工智能的方法,但是你会发现,我们用了很多很多这种算法的东西,来帮助我们去确定心理上的病因呐或诊断呐,所以说如果在心血管领域有一个特别大的应用,能开始的话。
我觉得一定是我们心智上的的呃,这个应用我最*也在申请一个课题啊,我不知道现在进入四四进一了,我申请的就是关于这个人工智能的,我就是我想做个什么东西呢,我想做一个跟我水*一样的一个医生。
他在急诊可以值守的医生,就是因为很多看朱老师可能也知道,其实很多心理常的人,好多猝死的人,80%都发生在院外,而他抢救成活率很低,而80%精神他都是基层医生,很多基层医生看到一个心电图。
他都无法确定这个到底是什么新成果素啊,他该怎么用药呀,他打他电话或者是怎么一转诊都延误时机,可能运到路上,病人就猝死了,其实我们要做一个这样的东西,就是让这个机器去读的话,它达到专科医生水*的话。
这样可以显著的降低心血管猝死率,因为心脑血管是我们中国人死为低位低位原因,而这个死亡心脑血管死亡当中,心脏死亡占了一半,就在我们国家,每年我们有200万,这200万人当中有100万都是猝死。
就是这都是呃,如果有这样的话呢,就是也会会有助于帮助我们刚才说的三维,这个三维重建,我们怎么去建它呢,其实我们基于GPS原理,大家可能都每个人都有这样玩过这个游戏,有的人喜欢,比如说200年。
2000 2008年或者2010年啊,今天早上跑步跑步的时候,他就拿着他那个跑步软件跑,跑出一个形状来,跑出一个数来是吧,有的向女朋友求婚就跑跑一个,沿着公园跑一个,I love you。
是我们经常听到微信上这样晒,对不对,上次我们这个重现的方式是一样的,我们有一个GPS原理,我们在体外模拟三个卫星,建三个磁场,然后一个导管的远端有有一个传感器,它可以感受三个磁场的位置。
就像你开车一样的,有发现是吧,你在打车软件一看诶,车开到哪了,地图上箱子位置都能看出来,如果你有机会让北京城转一圈的话,那北京城的形状不就出来了吗,像我们这个重建的方式跟这个是是一一样的。
然后我们就十一五的时候,我们作为一个国家的一个这样的,一个国产的这种sim设备,就是用于我们嗯,现在目前在已经在我们临床应用的一个设备,我们就是通过这种三维重建,过去我们心理厂医生要X线下做手术。
那么现在有了这三维系统的话呢,我们都是在这个三维系统下做手术,我们不用穿铅衣,你看就是都不用穿铅衣,这样对我们医生也是个很大的保护,其实我们也用了很多超声技术,但是我们的超声技术是腔内超声技术。
我们也借助超声就做做个三维重建,其实它当然我还不能未来的这个超声技术,它就可以完全自动重建了,现在还做不到,现在需要我去自己去辨别一下,唉这是哪个结构,这是哪个结构,未来它这个都是全自动的。
它可以全自动的做,我们跟苏州一家公司在合作做这个东西,就这个东西放在心上之后,它自己能识别是哪个结构,就是也当然也基于很多数据的学习,除此之外呀,这个就是未来对我们来说做手术的也不一样了。
方式也不一样了,以前我们都是手动做手术,未来可能就是鼠标做,因为我们刚说了个我们心脏导管放到心脏去,那它远端有传感器是吧,其实它原单它可以做一个有磁牵引力的东西,放到那里了。
一个体外磁场可以使它实现一个啊球面的运动,就是不是三百六十一百八十度是球面,这运动就是没有死掉全向量的这种这种运动,然后当然我们现在做这个东西做出来之后呢,就是还有一点缺点,就是还不能小型化。
就是放到屋里边,这个噪声比较大,耗电量也一小时的,耗60度电,这个现在还要克服一下这些啊缺点啊,总之我只想跟大家分析分享一下啊,其实从我们医生来讲,我们特别想拥抱这些计算机的,或者人工智能技术。
我也觉得在我们医疗领域,一定是有非常非常嗯大的应用前景,我想在未来将替代很多急诊门诊的工作,他一定会实现的,当然我们也希望在座的各位老师,还有啊各位同学,希望你们能啊跟我们医学多拥抱一下。
希望我们能碰撞出火花,哎促进我们国家在这个方面的发展,谢谢,好感谢龙教授的精彩报告,接下来第三个奖者是李清策研究员,李青松,研究员来自哈尔滨工业大学,计算机科学与技术学院,嗯主持参与了国家自然科学基金。
青年面上重点等多项科研任务,致力于利用数学和计算科学的方法,解决工程和生物医学的重大问题,研究主要方向是应用计算机,模拟人工智能等技术,更好地研究和治疗心血管疾病,已在嗯领域高水*。
国际期刊和会议发表论文60多篇,李李教授的报告是,多病理阶段,心肌缺血的多尺度建模与药物作用机制的研究,有请李教授,感谢非常感谢张教授的邀请啊,感谢李帅教授的这个介绍啊。
我今天的这个报告呢是做虚拟生理心脏建模,然后用它来研究这个呃心律市场,就是刚刚龙教授讲的这个折返,产生的这个机制啊,以及我们做这个做了一些药物,看看哪些可能是特定的靶点,对治疗这个心律失常有作用啊。
好我的报告分为以下四个部分啊,首先第一部分呢是研究背景啊,就是呃在心心脏病里面,有非常重要的一种心脏病啊,今天好多教授都从不同方面介绍过了,就是这个心呃心肌梗死和这个缺血,对吧啊。
这个心肌梗死和这个缺血,它也是有一个发展过程的啊,在这个血管狭窄的这个过程当中呢,整个人的这个心肌的细胞,它会有一个生理性的,缓慢的这种演化的这个过程啊,就在医学上呢大概分为这几个阶段,叫缺血EA阶段。
大概是缺血的零到15分钟,然后缺血一闭阶段大概在45分钟左右,然后短期心梗啊几天,然后还有长期心梗啊,那在医学上啊,就是这不同阶段的这些细胞啊,或者是这个心脏,它的这种生理功能其实是不同的啊。
然后这多种的病变啊,共同存在于人心脏里边的时候,为什么会引起这种更容易引起这种心律失常,就是在心心肌梗死,或者是急性这种心梗的情况下呃,这种多发心律失常的这种原因究竟是什么啊。
我们就希望通过这样的这个啊,计算机模拟的方式来研究这样的一个机制,然后看看啊,能不能找到它相应的一些治疗的靶点啊,那怎么样去构建这样的一个模型呢,啊整个模型构建的这样的一个呃这个方法论吧。
大概就是我们要从呃,底层的这个心肌细胞的这个生理功能啊,把它的这个产生电的整个过程给它描述出来,然后还要把整个缺血过程当中的这些病变的,这样的因素啊,同样给它描述出来。
然后把这些因素集成到一个细胞里面啊,然后再把一个细胞啊,通过这样的电扩散的这个过程,描述到整个组织以及整个心脏上啊,去仿真它这个病变过程啊,其实有很多很多这种啊,医学的数据来描述整个这个心肌功能发生的。
这个病变的这个过程啊,我在这个地方就简单的列了一下,这个缺血ea阶段啊,当然EB1嗯,1B心梗,短期心梗,长期心梗都有很多啊,然后基于这些数据呢,我们就可以对整个心脏这些离子通道。
大家可以看前面有很多这种离子通道啊,以及离子的这样的一些浓度等等啊,对于这些过程进行计算机模拟啊,当然这些计算机模拟背后涉及到一些这个,复杂的物理学知识,我就不在这简单介不在这详细介绍了啊。
通过这个仿真呢,我们就能够仿真出单个离子通道,和它的这种动力学变化,在正常以及这种地面的情况下的,这个变化机制啊,然后再把它整合到,把所有的这些东西整合到一个细胞当中。
就可以仿真出它的这个电的这个变化啊,当然你仿真出的你基于一个细胞,一个电流的这样的病变,然后呃把它们全部集合起来,能不能仿真出完整的细胞,整个层面的病变啊,需要做验证对吧啊。
需要再一再一次的用实验数据去论证,你的这个模型对还是不对啊,这是第二次的这个验证啊,经过这两盘验证之后呢,我们就可以构建出这样人在正常一节啊,多缺血阶段的病呃,多缺血阶段的这样的呃。
心肌细胞的这样电生理变化的这样的模型,大家可以看到左上面左上角的这个图啊,在短期缺血啊,或者是急性心梗阶段呢,啊这个心脏的这个细胞这个电动势都是变短的,而在长期性的阶段呢,细胞膜电动势是变长的啊。
然后有了这个心脏,有了这个一个比较完整的这样的模型啊,有一个solid模型之后呢,我们不光要构建出这个模型来,我们基于这个模型能够做到的是什么呢,就是我们能够分析出,在这个模型里面有这么多种离子通道。
有这么多种离子通道的控制参数啊,哪一些控制参数是对于我们心脏上,电信号的某一个功能是至关重要的,它的敏感度是有多少,这是我们计算机擅长做的啊,我们通过这个呢就分析了,这也简单举了一个例子。
就是EA阶段的细胞的,它的电声里变化的,这样的敏感度是跟哪些因素有关啊,就可以分析出来啊,分析出来之后呢,我们接下来就可以啊仿真出这样的心率市场啊,就是啊一旦发生了这个缺血啊,是不是能够引起心律失常。
为什么能够引起这样的心律失常啊,为了构建,为了就是做一个全面的仿真啊,我们做了这个两维和三维的这样的模型啊,两维的模型呢就是比较简单的啊,这种idealized的这样的组织方形的啊,包括了多病理阶段。
它水*分布以及这个扇面分布的啊,这是两种情况,我们后面为什么后面会讲到为什么这样的呃,这样设计啊,最后呢,再把我们的模型带到一个完整的,这种真实的这个心脏上,然后呢这个心脏的这个数据呢。
这个它是心肌缺血引起的,这种斑痕的数据呢,也是一个病人的这个真实数据好,有了这样的这个两维结构的这种设计,我们就可以仿真出两维组织上,这个心电传导的这个过程啊,我们可以看出通过不同的这种刺激方式啊。
我们给一次S1S2的这种加快刺激,或者是在这种动态的多快速的这种刺激之下,都可以引起上面就是折返啊,螺旋波的这个产生,下面呢就是螺旋波产生,导致波破裂的这个过程啊,然后呢呃下面是我们仿真的这种心电图。
大家可以看出,就是一个人的这种产生了这种心律失常啊,然后这是在第二种情况下啊,就是上面上面分布的病理状态的这种情况下啊,它也可以引起这种折返,从两边往回返的这样的一个呃过程啊,最终呢在三维心脏上也是啊。
我们在这样的一个刺激点上,给三次快速的刺激之后,也会引起心脏内部这种复杂的这样的一个,电风暴的,就是刚刚龙教授,龙医生讲的这个电风暴产生的这个过程啊,那仿真出来的这个过程。
大家可以想为什么会产生这种过程啊,在人产生了这个缺血,当然最为什么会产生这反,最直接的一种方法,就是龙教授说刚之前提到过的对吧,有不同的路径啊,路径不同就会引起这种折返,但是我们在仿真的这个过程当中。
会很多时候啊,在临床上也会发现,其实病人的这个心脏结构并没有发生变化,也没有产生纤维化,那它怎么样,为什么他会正常情况下我们就正常跳啊,那它怎么产生的这种折返啊,那我们就分析了不同的这种机制啊。
但可能在三维上分析非常复杂,但是我们的这个模型呢就有这个好处,可以把一些复杂的这个过程给它简单化啊,就是你在三维上这个传导再复杂,也可以分成两种两种情况啊,一种就是波从左往右传的时候。
你的那个不同的这个缺血组织,是从上往下分布的,所以说它就是垂直于波传导的这个方向啊,另外一只扇面呢,就是你从这个一个左上角给刺激它,波是均匀的往右侧进行扩散,那你这样扇面分布的话,你的这个波传导的过程。
跟你的这个呃病理组织分布的,它是一个*行的,这样的**行这样传播的这种过程啊,第一种就就比较简单对吧,因为在你垂直的方向上,产生了这个不同的这样的一些,阶梯状的这种病理分布。
所以说它会在上下传播的速度不不一样对吧,就可能引起这种折返,但是第二种情况就就非常特殊了对吧,我在左上角给一个刺激,我扇面上都是均匀分布的啊,还可以看第二张图,它一最右下角的那张图它是非常均匀的。
在这个扇面上,那这么均匀的情况下,它为什么还能引起折返,对吧啊,我们就利用这个呃计算机仿真,做了一些相应的分析啊,分析的这个结果啊,这个过程比较复杂,我就不说了啊,就分析的这个结果呢。
就是虽然它在扇面上一开始是均匀的,但是到最后我们可以发现,它这个细胞的这个传播势能的这个驱动力啊,其实是在中心区域比在周围区域更强的啊,而我们的这个心脏它在传导的这个过程当中啊。
尤其是在心梗区域发展心梗的这个区域啊,它通常是需要更强的这种刺激能力,才能够把它刺激起来的,所以说在很快速的这样的这样的一个啊心跳的,心跳很快速的,也就是心动过速的这种情况之下啊,在心梗区域呢。
就会你需通常是需要一个非常强的这种刺激,才能够把它刺激起来,但是你在两边呢它那个刺激驱动力又不够啊,所以说很容易在两边就产生这个传导组织,然后在中心就产生这样的一个折返啊,这是分析其中的这个机制啊。
然后有了这样的一个机制,分析呢我们就想啊,那我们分析了缺血,它能够引起这个心脏这样的变化,那能不能够找找到一些相应的这种药物,来阻断这样的一些变化啊,治疗避免这个心律失常的产生啊。
首先我们考虑了就是呃非常常用的一种,这个辛酸类的抗心律失常药物,这个安检酮啊,安碘酮它是一个多靶点的药物,它作用于非常多的离子通道啊,我们也是用相应的方法对它,对每一种粒子通道的作用做了仿真啊。
集成之后我们仿真的这个结果呢,发现它确实是可以延长心率,延延长这个细胞的这种电动势来防震,它确实可以延长细胞的电动势啊,这也是它预防心律失常的这种机制,对吧啊,左上角的第一个图啊,是细胞确实电动是延长。
但是在缺血阶段呢,这个安检铜的这种作用呢,它就啊跟我们预想的就差了很多啊,在缺水的情况下,你用了N点头,反而使这个细胞这个电动势变得更短,这就导致了在这个两维组织上。
它引起折返的这个啊更容易引起折返了啊,一开始是正常的,没有折返,然后第二排是啊,这是缺血的啊,它产生了这种螺旋波折返啊,第三种呢是用了安电筒啊,这个折返并没有消失啊,好,那我们就想就是这这种安点铜。
只只考虑安点铜的话,不能啊有效的消除这个心律失常,那我们能不能找到一个非常有效的这种靶点,然后这就是我们刚刚提到的这个敏感性分析的,这样的主要原因哈,利用这样的敏感性分析呢。
我们就提取出来了哪一些离子通道,可能是对于我们消除心理失常非常有帮助的啊,在这个地方就总结了以下的这个几个因素啊,包括了钠钠通道,然后呃IKADP哦,I k 2k s,然后还有细胞外钾离子浓度。
然后还有钙锌离子通道,然后调研了几种,可能对这些离子通道和相关的离子有作用的,这样的一些药物,或者是康胖的,来测试了他们的这个抗心率失常的结果啊,发现了这个替米沙坦确实是可以呃。
它可以这个呃提升钠离子通道的这个通透性啊,然后让这个传导速度可以更快啊,可以可以确实看到让传导速度变快了,但是电动势并没有变化啊,它呢这个作用呢它消除了这个心率市场啊。
但是呃对于整个整个产生这种呃折返的,这个时间窗呢并没有很好的这种变化啊,然后相同的这样的这个实验,实验结果呢也在这个,啊在这个呃钾离子通道的这个组织机上啊,也得到了相同的这个结果啊。
然后最后一个呢我们做了一个这个格列苯尿,隔离,苯尿这个药物也挺特殊的啊,它其实不是一种抗心律失常的这种药物啊,但是它能够作用于这两个非常重要的这个点,一个是IKATP。
另外一个呢就是细胞外钾离子浓度可以降低啊,我们仿真了它这个作用,发现的,他对于这个心律失常的这个治疗效果,非常非常优秀啊,这个时候我们就觉得这个IKATP和外甲啊。
可能是呃心律失常的非常重要的一个靶点啊,然后在三维组织上和两维组织上啊,都做了类似的这种仿真啊,对于不同浓度的离子通道啊,就发现它的抗性率失常效果确实都比较优秀啊,以上呢就是我的网络,谢谢大家。
啊非常感谢李教授的精彩的报告,然后接下来的这个三个话题呃,很荣幸由我来主持哈,接下来第四位演讲嘉宾,是来自哈尔滨工业大学的王宽泉教授,王教授呢是哈工大感知计算研究中心的主任呃。
然后IE的高级会员曾在卡内基梅隆大学,曼彻斯特大学,香港理工大学访问学习呃,他主要从事计算,心脏学和医学图像分析相关的研究,主持国家自然科学基金等国家级项目十余项。
在领域权威期刊和会议发表文章200余篇,已经被引用超过1万次,那王教授给我们带来的题目是,心脏医学图像智能分析方法研究,有请王教授,呃咳要感谢这个李主任介绍啊,啊也感谢这个啊张教授的邀请。
那我有机会呢在这个地方呢给大家分享一下,我们团队最*几年所做的工作,那么我们主要是在啊心脏这个方面啊,做了很多方面,包括这个心脏仿真,就我们团队,包括刚才上一个报告清澈的老师,也是我们团队的教授。
所以说呢我这个地方呢就聚焦到图像这方面,因为AI嘛就是在图像里面做的比较多一些呃,那么我们实验室呢,主要是包括从心脏的几个方面哈,心室啊,心房冠脉,肺动脉,主动脉,肺静脉都都在做。
那今天下午呢我主要是啊讲一下这个新石,新房或关卖这个三个方面的一些工作,那研究意义呢刚才其实很多人已经讲了,我这个地方呢就不再重复啊,这个心脏这块,那心脏呢现在从影像来说有很多种模态对吧。
包括这个心脏的超声,刚才已经很多人讲到超声的这个超声,心动图也是非常常用的一个一些影像,像核磁是吧,核磁也是啊,c ct啊,CT还有OCT,最*就关于外卖这个OCT。
以及呢可能还有这个血管内的超声IOS,以及这个pd,这都都在应用啊,都在应用,那首先我介绍一下基于核磁共振图像的一些图,像分析的这方面的一些工作,那我们做这个个性化的心脏解剖结构建模,包括做仿真也好。
做其他也好,首先呢要在心脏的结构来做呃建模,那么结构建模呢我们拿到这个盒子图像呢,我们可能要对它进行啊分割,那在分割各个器官的时候呢,对于心脏的分割和其他器官的分割相比的话,它存在一些困难。
首先第一个困难就说他的心脏是在动哎,一直在运动,所以说呢它的运动呢它的几何形变也比较大,包括心脏在舒张期啊,收缩期还有边界也比较模糊,包括这个运动尾影啊,还有国过人体本身的差异,所以说它有一些难度啊。
有些难度,那首先呢要做的就是说啊,一般先做新式,比如做新式的话做检测,那拿到核磁图片呢,我们要把心室检测出来,这个大的图像里面,比如要检测左心室,右心室或者双线式,把它RY剪出来。
那这样的话对下一步分析呢可能会更好一些啊,效果会更好,那第一个工作呢就是说我们有一个简单的办法,那包括这个关键点的检测,那我们包括这个长轴的影像和短轴的影像,用几个*面,用几个点啊,比较简单的方法。
我们大概可以计算出左心室的一个中心点,那也可以算出呃右心室的一个中心点啊,这是做基本的一个检测方法,那如果要做进一步的检测呢,可能有很多种其他的方法,包括这个配准的方法,比如说我们要做图谱。
就把这个新式呢做很多的图谱,然后构造一个通用的图谱,那么我们拿到一个核磁图像,我们先做配准,配种完了以后呢,我们就基本上能够找到新式的这个位置做检测,还有呢,我们当然也可以做这个一般的深度卷积网络。
来检测新式,大家知道检测物体检测,现在已经研究很多年了对吧,有很多种方法,包括fast r n啊,这个优乐啊,现在已经很高十几版本了对吧,这个都是很多,当然自己也可以设计。
我们自己也设计了一些检测的方法,那下面介绍一个这个工作呢就是比较早期的啊,前几年发表的一个工作,那这个工作呢,就是说我们来计算这个新市的这个溶解,特别是左心室它的溶解,以及它的射血分数。
但一般情况下是先做分割,那这个工作呢就是不用做分割啊,不用做分割,那直接用这个神经网络来估计,这个新式的这些质量,包括它的摄学分数,那这个估计的话也不是用所有的数据,而是我们要挑啊,挑一些切片。
那做这个mari view fusion做一个融合,也就是说提出一种呢高表征能力切片的高效多,试图融合一个策略,那这个策略呢,就是说我们做到端到端的一个估计啊,那这样的话就是很速度呢。
也是很快能做到实时的啊,估计,所以说也要算新式的这个参数计算的啊,从不做分割,这种方法呢也算比较早的一个提出来一个方法,那在这个基础之上呢,我们也啊哎这个图,哎呀很抱歉啊,这个图不知道没了,哎后面。
哎呀不好意思,这个这个图不是乱哈哈,原来好像是有的,那这个工作呢,那就是提出了一种动态构建的一个,深度学习网络,那这个网络的话比刚才那个呢应该说呃,更加的准确啊,提出了一个矫正的网络。
这个网络呢一个是动态构建了这个网络框架,从单模型呢变成一个双模型,直接建立这个社区分数相关性,第二呢就是引入了一个错误矫正策略,通过随机配置残差节点,优化体积估计,三大形成端到端联合优化框架。
实现有效错误的矫正,是呢首次在自动新式体积估计中实现错误矫正,提升了临床应用这个潜力,多阶段优化策略,这个是在啊测试数据上呢,应该达到应该是最优哎出来了,嘿不知道是,啊这个反应有点慢啊。
可能是我再回个去啊,他这个是有点慢,那这一个工作呢我们等一会他会出来啊,这个就提出来一个啊新式的分割方法,刚才我们说不分割,那这个方法呢就是既有分割啊,也有直接古迹,那么这个合在一起的。
所以说呢这个叫做一个啊深度共生网络,将新式分割和直接面积估计呢,整合到一个深度学习的框架里面,那网络通过可微分的这个面积算子,实现端到端的一个优化,采用高效一致性推理方法和不确定性估计。
那么实验结果表明了,这个方法呢应该说是啊精度非常高,而且泛发性啊也是非常好啊,泛发性非常好,哎呀这个,这个图半天不出来,不知道是原来是好使的嗯,不好意思啊,不好意思,不好就不往下等了,下一个。
那下面呢我们看看这个新房的一个分割工作,那这个新房的方法呢,这是分割的结果,我看前面的这个方法,我这好像对不上啊,感,啊这个嗯跳,那么这个是做做的新房的分割,新房子分割呢比新市呢应该说是更复杂一些。
因为它的结构呢更加复杂一些,那这个工作呢是提出了一个对称的,一个多深度结构的一个网络,那么而且呢用一个这个不确定性的目标函数,来进行啊进行指导,那这个得到了非常好的一个结果。
我们在这个里面呢不仅仅是啊这个不确定性的,在上一个模型里面,我们对得到的这个不确定性的,可以给医生做参考,就是分割的结果,但这个模型里面呢不仅仅给医生做参考,主要拿来直接引导这个分割。
所以说它呢会得到一些更加准确的一些结果,好这是这个分割的一个呃一个展示啊,一个展示,那这个工作呢啊,这个好像好提出一种新的这个半监督的,一个左心房的一个分割框架,那我们说半监督,因为我们做数据。
现在数据是稀缺的,所以说呢半间中呢用的数据会少很多,那是把分割模型和分类模型呢融合到一起,利用这个标记为和未标记的数据来进行增强的,进行一种对比的学习,那么我们可以做到啊。
肋间啊距离就是扩大内内距离来缩小,这是大家知道搞膜识别的,这个一个基本的原则啊,就是做这个,那么我们把分类和分工呢搁在一起,这个的话能够得到啊一个非常好的一个结果,而且呢这个工作呢也是。
同时呢提供了一个不确定性的一个估计方法,这也是新房子方面做的一些工作啊,这是新房分割的这个结果,另外一个呢关于这个配准方面,那么我们做这个心脏的这个运动分析啊,做根据配种呢来做这个运动分析。
我们把这个配准的网络和分割网络,来进行联合用,通过上面呢是通过分割啊,然后呢来做配置,下面是配准,下面是分割,它互相促进,作为一个互相的优化,这个呀我们对于心脏的这个核磁运动的图像。
从啊收缩膜切到舒张末期,每个阶段进行配准,最后呢我们来看这个心脏的运动,那么我们可以看出正常的心脏和心梗的心脏,它的运动模式呢是有比较大的差异啊,啊这是这个一个配准的一个方法啊,配准的方法。
包括用的这个大家可能搞神经网络指导,这个teacher,student这个模型啊,就互相学习,那么一般说的是teacher教给student,那我们这块呢是互相学习,teacher教给student。
student的,也反过来再去教teacher,那这样的话可以得到更加的优化的一个结果,好下面呢我们再看看这个超声的一个结果,这个模型呢是提出了一个超声的一个分割,那超声也分割,这个分割工作呢。
早期还是在这个朱天刚老师在啊,鼓励下来做的这个工作,那么这个呢就是说提出了一个超声心动图的,三维的一个左心室的一个分割,半监督的一个学习框架,那么首次呢将左心室普这个图谱啊。
图谱呢这个鲜艳集成到一个学习框架里面去了,提升了有线标注的性能,提出了一种多级信息啊,多级信息一致性,约束增强模型在复杂的解剖模型中的表现,实现了端到端的一个优化,保证了高推理的效率。
在有限的一个少量的数据标识下,分割性呢是啊非常好,结合了对抗性啊,通过一个couple gun啊,一个双的一个干模型来做的,这是在不仅仅是在精度上比很高,然而是在效率上也是很高的啊,这样一个方法是新。
那这是这个结果的一个展示,那么很绿色的是这个ground truth啊,黄红色的是是预测的一个边界,那么可以看出来呢,我们的这个模型和已有的其他的这个模型,相比的话,应该是好了不少啊。
那讲了这个呃超声以后呢,我们再说一说这个ct啊,C t a,那CDA呢我们说呃在这个心脏啊疾病诊断,特别是冠心病诊断,它用的是很多的,刚才很多前面很多老师都讲到,这个CDS造影哈,那可以诊断这个斑块啊。
这方面的一些,那么我们可能说要对心脏的冠脉进行提取,而且呢对这个冠脉它的狭窄部分,特别是它的斑块进行追踪,而且呢在进行测量啊这样一些工作,那么早两年呢,我们提出了一个在这个米开这个会上。
发表了一个关于啊冠脉的中心线的一个提取,方法,一最终方法,那么这个呢是一个通过一个强化学习的方法,那么这个强化学习的方法呢,是直接用三维的一个数据啊,三维的数据,那么我们提出了一个自动的追踪冠脉分支啊。
主要工作呢包括DQ啊,提出了DDQ跟追踪器和分支感知啊,这个检测实现了准确的追踪,而是提出了基于向量点击的新奖励计算,和基于26个相邻提速的移动策略,提高了追踪的速度和准确性。
在公共数据集上达到一个最先进的一个性能,包括这个时间成本覆盖率,复合率,总体精度和*均距离等指标,都是当时是最好的啊,提供了工,而且呢这也前面讲的工作,包括这些工作呢,我们这个源代码啊都是可以下载啊。
再一个啊包括预训练模型都是有的啊,这些创新呢,这个可以说在这个冠脉的这个提取方面呢,还是比较好的,那在21年的时候呢,我们在米开上,我们又对冠脉狭窄程度的定量分析,又提出了一个工作。
那么这个工作呢是一个叫t r net的,一个transformer结构,前面呢我们说是强化学习,加上这个卷积神经网络,那这个呢transformer因为后来用的也比较多了。
在transformer下做了一个啊,自动检测冠脉c ct血管造影中的这个狭者啊,这些狭者充分利用了这个啊,transformer和卷积的融合啊一个优势啊,可以说比较好的检测到这个匣子。
而且效率呢也是非常不错啊,那这个工作呢是今年的啊,啊一个工作也是在米开上,那么提出了一种呢叫做啊时空啊,这个对比学习的这个新型的数据高效学习网络,那专门为这个CCTA的这个冠状动脉病啊。
诊断设计的这个这个工作呢,主要创新呢采用临床可信的一个是数据增强啊,一个数据增强技术解决样本不*衡的一个问题,其次呢通过这个时空的这个语义学习,布置到CPRT集中的空间和时间的关系。
实现全面的一个特征分析,最后呢利用双任务这个对比优化,促进和共享和误差,提高泛化能力,实验结果表明了这个减少训练样本的情况下,仍能够超越现有的一个最先进的一个方法,所以说呢展现出它的一个可能的。
临床应用的一个前景啊,这是最新的一个工作,那下面呢我们再看看这个OCT啊,OCT方面的一个工作,那OCT呢我们就要基于光学相干,断层成像一个技术,那这个是在血管里面。
导师送进去实时的这个在检测这个斑块啊,以及对斑块的性质来进行检测,那在幺九年的时候呢,我们提出了一种既强化学习的这个框架,包括血管内这个OCT图像呢,逐帧的这个斑块跟踪啊,主包括呢设计了八个变换动作。
时应的斑块变法,利用时空位置相关性实现进行连续的跟踪啊,支持全自动,有半自动模式来进行跟踪啊,在大规模的临床上,验证了这个跟踪的一个精度啊,这是在呃幺九年的时候,这篇论文,这是他的具体的方法。
那大家有兴趣的可以去看这个论文,我有时间了,我就不细讲,那这是在这个工作呢,其实在早在192017年的时候呢,我们在CCCCC位,就是中国计算机视觉大会上的,我们这个方法呢。
其实拿到当时这个啊比赛的一个冠军啊,当时是这个,那另外的一个工作呢,在2023年我们发表的这篇文章呢,对于这个OCT的这个好啊,不好意思,时间到了,我就快一点,这个呢是祛除这个胃炎哈,就是导师的胃炎。
提出这样一个工作,可以很好的去除这个导师啊,最后呢我们看看我们实验室做的一些系统,而研制啊啊,这些系统呢大家也有有有兴趣的可以去看,我们在购在云上面的,可以去用好,谢谢大家嗯,好非常感谢王教授的介绍。
可以看到确实呃,王教授团队,在整个心脏影像上做了非常多的工作,然后接下来给我们带来报告的是洪申达教授呃,我简单介绍一下洪教授,他是北京大学助理教授,副研究员,博士生导师呃。
研究方向呢是医疗时序数据的人工智能,算法研究及其在临床和智能可穿戴的应用,在领域顶级会议期刊发表论文50余篇嗯,担任science合作期刊health data science副编辑。
国家药品监督管理局,医疗器械技术审评中心外聘专家,中国心律学会,心脏人工智能学组的副组长等职务呃,那洪教授带来的题目是,医疗时序数据的人工智能算法研究,及其在临床和智能可穿戴的应用,有请洪教授。
诶这个怎么OK呃,呃非常感谢张老师的邀请啊,很高兴能在这里跟大家分享一下,我们做过去做了一些研究呃,然后呃对我的研究方向是呃time search data,然后我的背景也是人工智能的背景啊。
但我今天主要介绍的是一类啊,比较典型的这个实际数据就是新建信号数据啊,刚才有很多老师我大概看了一下,基本上每个专家的PPT中都提到了新建信号,然后呢也提到了这个新建信号的重要性,然后呢。
我主要是对这一块做了一个比较深入的探索,然后首先呃有一个小问题就是呃在座的各位,这个听众有多少,是曾经或者正在从事人工智能研究的啊,可以举个手吗,大概可以看一下,好的好的好的,谢谢谢。
OK呃那接下来开始我的介绍,然后我主要从四个方面开始讲,第一是数据算法呃,可穿戴设备以及临床应用呃,首先有一个小视频可以大概看一下,我们过去做了一些工作,看看能不能播放,明天视频都不太能播放。
那我就继续啊,呃简单来说就是我们呃最终呃,不管是算法还是数据还是这个这个模型啊,最终都汇集在一个小的一个片上面,然后呢我们希望做了人工智能算法的研究,真正能够解决临床问题,能够被所有人所触达到。
所以说啊,这个是我们呃最终所呃集成的一个功能啊,今天这个视频比较可惜不能播放,那就继续呃,首先呃花一小点点时间去介绍一下,心电图的背景知识,然后我这里面的总结是呃最熟悉的陌生人,刚才其实呃。
龙老师也非常呃详细的介绍一些背景,我这里面就非常班门弄斧,再简单过一下呃,我相信大家都看过自己的心电图哦,左边这个图是大家做体检或者去医院里面呃,做这个12点的心电图的时候,你需要躺在床上面。
实际上这一大堆导联所错出来的一个图,那右边这个图呢是哦,这个apple watch的一个查一个一个呃照片啊,这个人他的这个手表,他的背面有个电机,然后他的右边这个旋钮也是一个电机。
如果你把人的心脏想象成一个电池的话,那我其实就需要通过某种方式,把人的某个地方连成一个回路,这样就可以记录这个电池的一些电压的波动,那么手表就通过这种方式,把人的这个给连接了起来。
那么它的这个数据其实和心电图当中的这个,胰岛联是等价的,所以说这个是我们啊常见的两种心电图,那么为什么是心电图呢,啊现在几乎所有的呃AI health care领域的研究。
都是在大部分都是在关注于这个院内场景,那么你想想你的家里面,如果我们在不是在医院里面,在家里面想去检测自己的身体健康状况,我们能做什么,比如说家里面可能会有些血压计,可能会有些体温计,那去年新冠期间。
这个京东淘宝上面的这个血氧仪,已经被抢购一空,这些都是已经在家里面,或者未来即将进入家里面的场景,那么新电信号呢其实也是一类呃,我们觉得是下一个很有可能在呃,走进千家万户的这么一种数据。
那么它有这么几个好处,第一就是它是无创的,现在有一些比如说呃连续血糖检测的装置,它其实是需要在手上扎一个小孔,所以它其实是一种有创的,呃此外的话呢像刚才那个图里面展示的,不管是单导人还是12导人。
它这个采集的原理是一样的,所以它的图它这个数据也是非常的一致啊,最后呢就是它的相对比较稳定一点啊,如果说我们啊人体的电信号除了心脏之外,其实大脑也会产生电信号,但是脑电的检测会非常的困难。
你需要涂各种各样的导电胶,然后人也不能动,但是新电的话呢,你把两个电极放上去,基本上看到那个波形啊,就是一个新电的信号,所以这个是新电的一个特点,那么这里面有一些呃,非常这个是VPPT啊,上面一个图呃。
大概意思就是啊新房心室,然后初级负极,然后呢呃2×21共等于四个,然后呢就形成了P波啊,QS波和T波啊,这个新房的负极跟新室的初级是叠加在一起,形成QS波,所以我们可以看到因为心室的肌肉比较厚。
所以说它的这个电压的幅值也就比较高,这样的话呢,我们就可以通过一些算法,去分析出心脏的健康状况,那么这个图刚才罗老师也有了哈哈,这个也放了一个一样的图,就是说呃大概在100多年之前。
然后呢有一个荷兰的叫埃因托芬,然后他发明了心电图,然后也获得了诺贝尔学奖,那么在现在的话呢,呃我们心电图的检测,其实啊这个图也是看来非常相似的,有很多很多的导联,那么为什么这么多导联呢。
啊其实就是人的人体它是一个3D的结构嘛,就是像心脏,它本身也是个3D的结构,所以精电心电的信号在心脏里面传的时候,它也是一个立体的结构,就像我们拿着照片,拿着相机去拍一个人一样。
我每次只能拍到人的某一个侧面,那么新电信号的每一个导联,实际上也是有类似于这么原理,所以我们希望通过在心脏上拍摄多个照片,最后重构出整个心脏的一个状况,呃那么新建新号能干什么呢,在19年之前啊。
简单来说就是一个更快更准确的心电图机器,那么能够做房颤识别啊,刻磁波检测啊等等,那么在19年呃之前的时候呢,我们也是刚开始做了这个研究,当然这个就是我自己去做这个呃。
A i health care research,这个起点就是172017年的时候,我们参加了这个呃facial net的一个比赛啊,这个比赛是在呃computing cadiorigg会议上面的。
然后我们当时是提出了一个集成的,胜率学习算法,然后呢呃是得到了第一名,然后呢,这个主题是呃单导联心电信号的房颤分类,那么这个数据呢是一家叫做live call公司的提供的,L wal。
靠这家公司后来是帮苹果手表做了万代,就采集心电图的这个功能,后来两家公司闹掰了,然后他们自己做了一个新电检测的一个设备,呃那么现在能做什么呢,刚才龙老师也提了一些,然后呃简单来说就是在新建图集之外。
我们做更多的任务,比如说呃柳叶刀的主刊上面发的那篇呃,动力房颤,以及后续的这个RCT研究哎,再包括用通过心电图去识别呃,心室的这个收缩功能啊,包括甚至是做一些全新死亡风险的预测等等。
这些过去从来没有想过的任务,都可以作为一个实现,那么呃传统的分析方法的话呢,就是去提取刚才看到的PQ,ST等等一些波形的特征,然后把这些特征跟一些疾病之间做关联,比如说如果PR宽度大于0。2秒的话。
那就是新房到心室之间传递出现了阻滞,所以就可以被确诊为一度发生传导阻滞,那么现在的话呢,呃基于这个大数据和深度学习算法,我们通过很多很多的数据学习之外呢,我们就可以得到过去临床上面得不到的结果。
那么这个其实是呃突破了现有的医学知识体系,的这么一个基本的原理,呃,那么呃接下来我介绍一下呃,目前关于新店相关的一些数据集啊,简单来说就是有两个*台,一个叫做facebook net,一个叫PDSP啊。
B d s t,基本上就可以得到你所有的这个数据哦,那么从数据的角度来说,新建信号是一种哦波形数据是一种time series data啊,就是从这个computer science角度来说。
它不是image啊,这个非常强调一下,因为跟很多临床大夫合作的时候,他会拿出一张纸质版的图出来,说你们能不能做这个分析,所以这个我希望能够啊在这里再去澄清一下,那么呃作为一个数据而言呢。
呃它可以是我们关注新建信号的数值,也可以关注新建信号呃数值的一个变化,或者是一种叫做temple event的这么一种方式,那么总而言之呢,他们都是呃他们switch相关的一些视角。
那么在很早很早以前啊,早到1980年,那个时候心电图机都不是现在的样子,然后呢MIT的一帮人,他们就做了一个叫做MAT,BIH的一个数据集,这个数据集当时我下面画了一个圈,就是这个呃CD room啊。
据说他们现在的办公室里面还堆了很多的,C d room,因为那个时候没有什么互联网,数据都是通过光盘去传输的啊,这个历史也非常的有意思,然后我觉得大家如果对这一块,这个数据集相当相当呃。
我相信很多人都用过,但是可能关于背后的故事不是很了解,但我觉得这个还是挺有意思的,那么啊关于非送net*台呢,自己也进行了几次升级,目前比较大的几个数据集,比如说PDBXL,比如说这个mimic呃。
four e c g等等,这些都为我们现在做呃,各种相关的研究提供了非常好的丰富资源,那么还有一个新的*台呢,叫做呃brand data sci platform,它主要是关注于脑电数据比较多啊。
主要其实是sleep的数据比较多,但是上面也有些ECG的数据集,比如说这个数据集,就是哦我当时在做博士后的期间,我们去发布的一个数据集啊,它的特点就是超大,这个是简单来说。
就是把哈弗系统过去40年的所有的新建信号,全部给捞了出来,超过1000万例,我们有时候对说我们自己这个做AI研究的人,就像是一个厨子,就我们如果把训练模型像跟炒菜一样,我们这是个厨子。
我们正是有18般武艺,研究出了各种各样稀奇古怪的菜谱,但你如果去菜市场只能买到土豆跟茄子,那你最多也就只能做地三鲜对吧,但如果说你能买到红烧肉呃,买到猪肉,你随便炖一炖就是非常好吃的。
所以数据其实是个非常重要的基础资源,在这一块的话呢,我们希望不仅算法能够解决这些问题,我们希望数据也能够呃跟得上啊,那么我K这个是关于新电信号的特征,然后关于时间关系,我这里就不展开说了呃,方法方面呃。
我们做了一些研究呃,比较早期的就是关于这个骨干网络的研究,以及关于这个learning strategy的研究,最后我们把这个东西部署为一个服务呃,那么现在其实虽然transformer比较热。
但是现在其实你看到的所有,刚才那些top期刊的文章,它的方法还是比较基本的这个呃RESNET架构,所以说我们在比较早期的时候,也做了这么一个呃网络,当然我是把它给呃做了一个开源呃,这个特点就是我们可以。
通过这么简单的几行代码就去呃,建立一个可宽可窄,可深可浅,可厚可薄的一个卷积神经网络模型啊,这个模型的话呢也被很多呃,其他领域的人在做生理信号研究的呃,研究中给用到了,所以这个我觉得还是比较好的。
一个比较有意思的一个工作,那么除此之外呢,我们就考虑在数据量比较少的情况之下,或者说是我们怎么去结合过去已有的专家,特征啊,这种这里面就是也是比较早期的一些研究,把深度神经网络和专家特征做了个结合。
那么现在的话呢,这也是呃大概在两年到4年之前的一个尺度呃,这个比较热门的是自监督学习,那么我们希望不是说有以有监督学习的方式,同时得到数据和标注,而是说我们希望通过数据本身去构造一些标注。
做一个PRETRAIN,比如说做重构任务或者是做自监督学习任务,然后呢再把这个预先好的模型加上少量的标签,就可以得到比较好的效果啊,这个是自监督学习,那么在这一块的话呢。
我们是呃站在时间序列的角度做了一些工作,然后呢也发在呃机器学习的顶配SML啊,还有这个呃TNLS啊,以及呃AAA r i clear等等这些会议上啊,时间关系我就不去细说了。
呃在LINUXSTRATE方面呢,我们也是做了一些工作,比如说这个啊continue learning,然后呢,这篇工作是发在了cell的这个patter子刊上面,然后啊,当然现在的话呢。
这个做AI的人不去搞一些LIM,这个就不太能跟上的节奏,所以说我们也是做了些呃简单的探索啊,一个就是说我们把这个呃这是第一篇,就我们去年投在这个middle上面的。
是第一篇把新电信号跟大言模型结合的工作,我们通过呃e c g text的一个呃这个对齐,然后可以实现一个检索生成,和零样本学习的一个任务,然后呢呃大概是这么一个工作。
此外呢我们也是把这个time save data,和这个large language model做一个对齐,也就是说呃其实今年ACCLEAR上有很多文章呃,宣称是做这个呃GPT加time series。
但其实相对比较多的,还是把GPT的架构直接拿过来去建模,时间序列,数据并没有说呃,它只是用了它的架构而已,并没有跟这个呃LLM或者是fdation model等等,产生任何的关联。
但是我们这个里面是把它做了个对齐,然后也是比较有意思的,发现了这个word和一些这个time series s之间,一些有趣的关联,呃,当然的话我们也是把它部署了一个服务。
这个是我们啊这个一个比较早期的工作,是部署为一个云服务,然后可以给一些厂家提供一些呃,这个呃心电分析的自动接口啊,这些还是在心电图机的那个呃这个范畴下面啊,包括这个和讯飞和每年等等都有些合作。
那么后来的话呢因为遇到了很多大夫,他们手里只有心电图图片,所以我们也是没有办法也做了这么个工作啊,通过这个呃一个也有个微信小程序,然后呢通过拍摄一份纸质版的心电图,可以自动的给出一个啊现在读的诊断报告。
当然我们当时做这个工作非常不顺利,但是今年发现这个今天的CNC比赛,也办了这么一个这个主题,也是从纪念图片中去把信号给抠出来,然后做一个二分类,我觉得也很有意思呃,目前还有一些正在做的工作呃。
就是关于这个仿dation model,还有一些呃多模态等等,因为还没有进行完成,所以这里面就呃不给大家做一个详细的介绍呃,如果你对于这块工作更感兴趣的话呢,可以关注我们团队之前做了一些综述的工作呃。
第三部分是关于这个可穿戴设备,然后目前可穿戴设备还是相对比较多的,然后我们是做了两个呃,做一些比较有意思的东西,一个是刚才看到这个手持式的,这个单导的新电信号检测设备,就是这个东西。
然后我们现在也是已经拿到了医疗器械注册证,大家在京东和天猫上面搜搜信念仪,应该都能搜得着呃,然后右边是一个真实的用户的反馈,然后虽然很小,但是我觉得还是确确实实看到自己的研究。
解决了一些实际的问题还是比较好,然后呃其实呃发表一篇文章相对比较容易,但是如果你把你的算法真的让别人给用到,其实还是比较困难的,所以我们在这方面,在这个呃真的到,用户在使用过程中也是做了非常多的工作。
呃比如说呃这个设备经常会有人拿反,所以我们就得专门训练一个深度学习模型,去识别导人的倒置,比如说一台设备,它可能会给他的家人去使用,所以我们需要去做一个心电信号的身份识别,比如说关于心电图的检测报告。
虽然它已经很简单,足够简单到你是窦性心理,相信大家都看到这个这个结果,但是我觉得有很多一部分人觉得,窦性心律是个很可怕的疾病,所以我们也是把心电图的这个呃。
做了个augmentation和大语言模型做整合,然后使得普通人也能够读懂自己的新年报告呃,还有一个是这个pass版本的,这个是主要是检测长城的啊,新电信号啊,替代目前一个hotter呃。
大概是这么一个工作,当然还有一些比如说新电一呀,然后呢等等等等,包括甚至我们啊,前一段时间也看到,有人在nature的BM上发了篇文章,是做了一个马桶,然后也可以测心电信号对都很有意思。
然后呃现在的话呢,我们团队也在做一些深圳式模型的探索,所以我们也是做了啊PPG生成ECG,还有单导人的ECG,生成12的人ECG的工作等等啊,总而言说了就是全是围绕着新电信号。
希望能够做一个非常完善的一些,一些一些一些研究吧,真的能够使得算法去解决实际问题,那么最终啊到这个临床实践这一块儿,呃刚才也提到了,说新建信号已经突破了心理市场,诊断到了整个这个大的这个循环系统。
所以我们现在也是呃,把这一块的算法部署在我们的设备上面去,然后我们可以通过采集一份单导的新电信号,去计算这个人的左心室射血分数,右性射血分数啊,GLS啊等等,包括其他的血压值啊,呼吸频率等等。
这些都可以做的,然后以及我们也可以把单其二导人的生存经验,都放在这里啊,给医生做参考,不好意思啊,今天稍微有点这个超时啊,除此之外呢,我们做了这个,刚才荣教授也提到了这个心脏年龄。
所以我们去年在中华心理心上一杂志,也做了这么一个工作,这个功能目前在我们的设备上是有的,你可以采一份心电图,看一下他预测的年龄,跟你真实的年龄的差别是什么样的,如果他的年龄比你真实年龄大。
说明你可能最*心脏有点老化啊,此外你也在这个呃这个阵发性房颤的呃,健康管理呀,然后这个冠状微冠状动脉微循环的呃,这个筛查呀,包括血压的检测等等,这些其实我们并不希望呃,也我觉得也没有能力去真的替代医生。
更多的还是弥补院外那个场景,那么至少我能够提供60分的方案,那么给现有的很多医生,特别是比如说出了医院的患者,说明一台设备,让他能够去监测到自己的新电信号,让他能够分析自己的心电信号。
让他能够对自己的健康状况有一定程度的了解,从而一定程度上减轻医疗的压力,那么一句话总结就是说,我希望通过这一部分的研究,去使得已经有100多年历史的新建信号,能够重新焕焕发出这个生命活力啊。
Make e c g great again,OK然后呃这个是我们的团队哦,其实我们现在因为我现在是在医学医学,北大医学部里面工作,所以我们的团队里面,现在是呃计算机背景的同学也有,医学的同学也有啊。
甚至我们也会开一些这个课程,教一些对人工智能很感兴趣的,银行大夫去写Python代码,我觉得这个也是一个非常有意思的过程,然后如果各位这个临床背景的专家,对这个感兴趣的话,可以关注我们学院的这个啊官网。
然后这个是一些合作伙伴呃。

最后这个简单说一下我们学院办的期刊,这个是叫做hairstyle science,然后是呃science的pattern journal呃,然后明年预计会获得第一个影响,因此目前呃还是是一个OA的状态。
然后呢还不收这个版面费呃,我们会欢迎所有跟健康数据科学相关的投稿,所以各位专家如果有感兴趣的话,可以呃关注一下我们的期刊,好的啊,这个是我的微信,谢谢,好非常感谢洪教授的精彩的这个汇报,那最后呢就呃。
有请我们今天的最后一位这个演讲的嘉宾,来自北京航空航天大学,计算机学院的潘俊君教授呃,潘教授呢也是博士生导师,是国家万人计划青年拔尖人才,目前任职有中国仿真学会医疗专委会的秘书长,吴阶*。
医学基金会模拟医学部,虚拟技术专委会副主任委员等,他的主要研究方向是虚拟现实,计算机动画手术导航,那在国内外的顶级和知名期刊学术会议上,发表了80余篇的学术论文,授权16项国内外专利呃。
成果技术转化三项承担了多项的国家级课题,那潘教授今天给我们带来的报告的题目是,数字人体孪生即在医学中的应用啊,有请潘教授好的啊,首先呢感谢这个张教授的邀请,然后呢也感谢啊,主持人李老师这个介绍啊。
然后我今天的那个给大家分享的这个话题呢,是数字人体孪生及其在医学中的应用,我本来准准备了一个简单的那个自我介绍。

还有我们实验室的介绍,因为时间关系我就不讲了,然后呢,我我们实验室呢是那个北韩的那个,虚拟现实技术与系统,全国重点实验室,也是虚拟现实与增强现实国家工程实验室,刚才的第一位主持人李帅老师跟我是同事啊。
我们都在这个实验室工作,我们当时获得了一些奖,然后呢今天的两个话题呢,首先呢我想呃与大家来分享一下,就是数字人体孪生及其应用,其中呢这是科学美国人杂志啊,就发布的2020年全球十大新兴技术。
其中呢把虚拟病人啊入选其中,他们呢就希望以后就是我们通过AI,还有这种虚拟现实等技术,我们构造一个虚拟的病人,然后可以在上面进行各种的那种诊断学习,甚至是用来进行那种宏观的手术规划。
这样可以一定程度上呢,摆脱对动物和尸体的依赖,也不会拿人去做小白鼠,可以说呢,就说虚拟人体是虚拟现实的一个高级目标,这里的呢我们就是定义虚拟人体呢,就是对真实人体进行多元数据的采集。
并通过几何物理和生理建模,然后在计算机数字空间中呢,构建这样的一个数字化的这种人体,我们也把它叫做数字人体孪生,当然他这个是骗医用的,跟我们现在这个很多娱乐方面的,比如说数字人啊,那数字偶像啊。
那个虚拟偶像的还是有有一定的区别,这里呢我们从两个角度来看,一个是的,就是我们首先呢从这个抽象集上,比如对真实人体进行这种啊,比如说c ct啊,核磁构造这样的一个数字化的人体,这里都是一些点位数据。
如果说这个时候,我们对它进行一些矢量化的处理,就可以得到几何人体,这个时候就可以在上面进行,比如说做一些虚拟手术,比如说呃变形和切割,但是这个时候它并不是物理准确的,之后呢。
我们如果说我们对它进行一个物理的这种建模,比如有限元啊,或者是这种弹完这两模型对它进行构建,我们这可这个时候就可以得到物理人体,就是说这个时候他的器官人体是具有物理特性,可以体现出物理反应。
这个时候在上面进行这种呃虚体手术,比如说切缝,它就有比较准确的物理反应了,然后更高一级的就是生理建模,就是这就是生理人体,就是这个时候呢呃包括刚才几位专家介绍的,比如说跟这个心电有关系的。
就属于生理建模,这个时候就是器官人体具有生理特性,可以体现出生理反应,比如我们这个时候在上面做一个呃,比如说做一个虚拟手术,把一个重要的血管剪断了,那可能这个时候开始血压降低,然后那个心跳加快。
然后还有这种各种呃,激素水*会发生那种这种变化,这个时候其实就是体现出生理反应,而最高级的呢可能就是智能人体,就是这个时候呢,就是我们如果说我们通过这种,比如说对它进行这种呃行为建模,我们可以得到。
这时候可以反映出人脑的自由,这样的一种思维特性,跟脑科学可能结合起来,然后他具有喜怒哀乐,然后它具有这种智能特性,这是从这个抽象集上来去划分的,如果说我们从这个尺度上来看啊,比如从宏观到微观。
比如微观从原子级这个尺度的话,我们可以用,比如说用基因网络来进行这种哦模拟拟合,然后到蛋白质这个级别呢,我们可以用诺基模型到细胞这个级别的时候呢,吃素的时候我们可以用随机模型,然后再到组织。
比如说我们现在做虚拟手术,一般来说就是组织和器官这两个尺度,这种级别可以用,比如用非微分方程啊,用连续模型,然后宏观的时候就是到系统,比如说这种呼吸循环系统啊,消化系统我们可以用系统模型来来进行模拟。
就是我们如果说从宏观到微观,然后从这种数字人体到智能人体,都能做的非常的那种精确的话,其实我们可以构想就以后呃,假假如我们有个很强大的这种啊,比如说这种高性能计算机,比如说量子计算机。
把一个小孩刚他出生的时候,从微观到微观,从他的体重血型细胞,然后到他的这种整个的身体,都构造一个数字化的备份,我们可以把它叫做数字人体孪生吧,呃这个时候就比如说当他不断的成长,然后我们这个虚拟的小孩。
就是说他的一个可以说是一种数字化的克隆,也不断的成长,如果说这个真实的小孩,他遇到一种疑难杂症了,我们可以在这个数字化的人理上对他进行,比如说各种药物的研制,然后那种比如说手术的这种治疗,如果失败了。
我们再重启这样反复的进行演练,然后找到一种可以解决问题的一种方法,比如新的药物的研制啊,或者是手术技术,然后这个时候确保它成功之后,再作用到真实的人体里面去,这是它的最大的意义,甚至说当然这有点科幻。
就是当这个真实的这个人,他可能总有一天他会死亡对吧,但是他的所有的这种信息从微观到宏观,它的备份可以永久的保存下来,就达到有点像这种现在很多科幻电影里面的,这种永生的这种概念。
当然这个是我未来的这个一个终极目标吧,可以说呢就是数字化的虚拟人体呢,就是医学研究的一种呃新的这种技术*台,它可以用在比如说这种医学教学,比如说解剖教学呀,还有这种微观的这种。
比如说呃靶向药物的这种研制,比如通过分子动力学,分子生物学一些研究,还有这种新的手术器械的那种研发,这个里面都会涉及到这种,比如说虚拟的虚拟人体的*台,可以说呢,就说虚拟人体呢是为实验室道变长和变肠道。
实验室这种双向转化,医学呢提供了一种新的这种实验手段,呃比如说我们这种呃之前这个疫情的时候,比如我们这个研究疫苗,传统的都要通过比如活体的动物实验,然后呃到一期临床,二期临床,三期临床。
如果说我们有了这种虚拟人体,我们一定程度上可以在上面,比如说减少它的这种研发周期,还有降低它这种成本,然后之后呢缩短它的周期之后,我们再用到,比如说呃一定的动物啊,还有这种临床实验,再把它推向市场。
这样其其实是可以极大的这种啊,就是说啊促进这个科研的这种研发的,还有他的这个成本的降低的,这里的是一个药物的这个研究啊,他们就说这个是北卡的大学,就是北卡罗纳大学。
用这个group three这个具体反弹器呢,可以让研究人员看到感受一种药物分子,是如何与其他分子生物学分嗯,化学生呃物质进行相互作用的,然后这些先进的仪器呢,技术可以大大加快各种疾病的这种呃。
药物的研发,比如现在很火的那个人工智能,就是啊阿尔法food,也是把人工智能呢,用在这种药物的这种研制里面,因为我本人是研究这个虚拟手术,还有手术导航的,偏宏观一点。
所以说我这里想给大家就是重点稍微讲述一下,他这个虚拟手术的主要作用,第一个呢就是它可以做手术规划与设计,就是它可以提供高度真实感的,这种沉浸式的虚拟手术*台,然后呢进行手术规划,包括手术方式啊。
手术流程,通路怎么怎么样走,能够使他的这个损伤最小,然后根据不同的专家的不同意见呢,提供出各种方案,然后我们找到一种最合最合理,然后呢损伤最小的这样的一个方案,然后这个方案定下来之后呢。
我们可以做第二件事就是手术预演和决策,这时候呢我们依托这个虚拟手术*台,然后手术组可以呃,根据我们规划出来的这种方案进行手术预演,就是相当于呃这个手术小组在放上面,进行一个这种实际的这种战前的一个演练。
反复的操作,你熟练之后呢,再对真实的病人进行手术,它既可以对不同的手术方案进行评价,也可以使这个手术组成员的熟悉手术流程,极大的提高这个手术的精确性和成功率,提高医疗水*,这个是在三幺医院。
他们做这个肝脏切除手术,这个是有文献支撑的,就它确实改善了这个手术的质量效果,第三个呢就是手术研究与转化,这个呢稍微多说,因为这个当时其实这个我举的例子。
就当时我在美国这做research association的时候,就是一个NIH制的一个叫做note手术,这note手术呢,呃它就是说它是通过人体的自然腔道,比如说生殖道啊,肠道食道进去。
然后在体表上没有任何的疤痕啊,这个很多美国的这种富豪,他特别喜欢到海滩去度假,那个不希望肚皮上留疤痕的那种人,很希望这种手术,但是这个手术呢虽然流血少,住院时间短,但是他对医生的要求。
这个外科医生的要求特别高,因为他每次只能操纵一个手术器械,就相当于单手操作,原来传统的腹腔镜,比如说双手操作,现在变成单手操作了,而且它的这个呃通路也比较比较远,所以说如何对这种手术进行验证。
它的优缺点的验证,然后如何对它进行推广,我们不能拿拿拿动物去做这个练手,因为他动物解剖结果跟人还不一样,所以说我们当时就是在那个呃,但是哈佛大学医学院,就是我们我们那个大学呢,跟哈佛医学院一起合作。
就是开放这样的一个虚拟手术*台,然后就是验证它的优缺点,然后呢他的缺点优点验证之后,然后同时也用这种模拟器呢来训练外科医生,可以说它是一种新的手术技术的研究与转化,我们可以用这种虚拟手术*台来作为载体。
第四个作用呢可以说说是目前用的最多的,就是手术训练和评价,就是呢他呃,用于这种各种外科医生的这种手术训练,可以减少对动物和尸体的依赖,并尽可能的降低实际患者作为对象的这种风险。
最后就是可以用来做AR和MR手术导航,就是通过各种虚实融合,展现术中的一些关键目标,比如说血管啊,肿瘤啊,然后包括它的边缘,还有深度信息,这个时候引导外科医生进行精确的,这种手术操作。
并帮助医生呢解决这种解剖结构不清楚,而导致的手术视野下方向迷失的问题,这次呢我列举的一些这种手术模拟方面的,一些重要的一些技术挑战,也是我们这个方向的一些研究的,重要的一些研究领域吧。
我这个就不不展开讲了,然后这方面呢,就是也是我也列举了一些,目前已经商业化的一些黑科技,包括这个虚拟解剖台,它是用来进行这个,可以帮助外科医生进行这种解剖教学,还有比如说现在的很多手术的这种呃。
VR直播就多个角度,多个机位,然后可以全方位的去观察这个手术,光膜手术的,另外还有带力反馈的这种微创手术训练,这也是我本人呃,我还包括我们实验室一直在研究的,另外还有这个虚拟手术室。
虚拟手术室它其实是相当于一个手术模拟器,加上了一个VR头盔,这个时候医生在做手术训练的时候,他是进入了一个虚拟的这种手术手术室,这个感觉就跟他的那个真的做手术是最接*的,临在感最强。
他可能一紧张就容易犯错误,这个对他的这个提高,技能提高是非常有有帮助的,另外还有包括,比如说现在很火的那个达芬奇手术机器人,很多手术机器人造价非常高,但不可能一开始那一个外科医生就上手去做,要做坏了。
那就损失太大了,他都是用VR模拟器,让这个外科医生呢在这个模拟器上反复的演练,比如说学到多少个学时,两个月之后,你通过考核了才能去做真的这种机器人手术,另外还有比如基于AR的手术导航啊。
还有现在的很多康复,我们都可以把它设置成那种呃虚拟的那种,像游戏一样的这种形式,然后让那个病人能够更积极主动的,他觉得很有意思,更积极主动地配合医生去做这种康复训练,那接下来呢我想也讲一下我。

我本人,还有我们团队在这个VR,AR医疗方面做的一些成果吧,这些都是我当时在呃呃英国和美国,当时还在国外的时候做的,包括这个腹腔镜直肠癌的这个手术模拟,还有这个note就是胆囊切除的这个训练训练系统。
这个单词就是跟那个我们伦社理工大学,跟那个哈佛大学学院一起合作的,包括还有这个胃束带的手术,就是这个美国的重度肥胖病人,这个特别多,然后这个怎么去训练这个外科医生,做这种减重手术。
胃收带手术也是通过VR模拟器,那还有一些基本功的操作,这是当时的一些成果的报表啊,包括BBC的专访,还有一些呃医学的杂志的对他的一个采访,然后我回国之后呢,就是参与了我们实验室的这个呃叫做可交互。
人体数字器官及虚拟手术的,这样的一个重大项目的,这个研究是2000万那个课题,然后我本人呢主要是在负责这个呃,这个腹腔镜手术的虚拟仿真吧,就现在已经,目前这个技术目前已经也是属于商业化了。
就是我看这能不能播放,我不知道行行不行,希望他能够破防,啊还真不行,抱歉啊,我但是我带了U盘好像也不好播放,控制权不在我这里啊,这个是相关的一些专利啊,包括美国的专利,还有国内的专利,还有裸年制作权。
然后这个是当时的一些这个包括新闻联播啊,就是反映了这个社会媒体报道,还有还有这个社会影响力的一些一些报道,包括央视频道,还有财经频道,对他的一些那个报道,就是我们这个手术模拟器的,这都是一些这个报纸吧。
还有中国青年报,其实在谈到又说别担心这场手术可以重来,可以反复的让那个外科医生,来熟悉这个手术流程,另外我本人也做过一些呃,就是手术导航,就是VR手导航的一些项目,这个呢是当时跟北医三院一起合作的。
这个重点研发计划,想就是这个脊柱微创手术的这种多模态的,这样的一个手术引导,稍微说一下,就是现在很多种白领啊,这是他长期坐办公室,可能有腰椎间盘突出,比较严重的时候。
可能就要用这种呃叫做脊柱微创手术进行治疗,它就相当于用一个脊柱内镜,打到你的这个脊柱缝里面去,然后进行这种钙化组织的这种切除,但是这个穿刺的过程非常凶险,因为这个脊柱上面有很多那种血管神经。
你要是穿穿错了,那可能就是瘫痪啊,甚至是那种大出血,所以一般来说这种呃骨科的那个医生,或者疼痛外科医生都是每每次穿一点点,那就踩一次那个X光拍一下,照看他到什么地方了,这样其实吃射线吃的特别多。
对病人和医生都是有害的,所以我们这里呢就是通过,相当于我们通过术前拍摄X光,然后通过AR的这种叠加,然后把它叠加到这个这个病人的背部上面去,然后这个时候呢就是我们用术前的这种CT,两张片子,一个正位片。
应该侧位片,然后加上这些光学的跟踪设备,那我看到的这个穿刺针啊,就你这个穿刺到什么地步了,这样可以减少它这个次射线的这样的,一个度数呃,这个次射线的这个量目前呢也是完成了这个呃,就是这个灵呃。
这个动物实验,还有这个还有这个临床实验吧,可惜不能播放啊,这点确实有点遗憾,另外我们也做这个,还有眼角膜置换手术的这种啊,手术导航,这个是跟同仁医院一起合作的,就是现在很多这种比如眼眼眼角膜外伤。
很严重的外伤或感染,这是要进行这种人工角膜的置换,我们也是用深度学习的方法,主要是用unit,然后对他的这个轮廓呀进行一个跟踪,然后呢这时候在包括能够解决血液污染啊,遮挡的时候,器械遮挡的时候。
它都能够让他能够跟踪的特别好,然后提示出就是缝合线缝合点,因为医生在缝的时候特别要注意,就他要均匀的缝合,如果说缝的不均匀,它可能受力不均匀,就会造成严重的闪光,表面就是就是不不不光滑的,叫重新做。
那我们这个可以提示医生呢,就是进行均匀的缝合,O k,另外还有一些,我们这个也是参与的这个手术机器人的一个呃,呃项目啊,就是ERCP手术,这个我们也不说了,好然后另外我们实验室呢也做过这个手术呃。
心血管介入手术模拟器,这个就是李帅老师在负责啊,就是他们跟那个协和医院,还有第三军医大呀,还有那个长江大一起合作的,就是目前已经用在这个PCI手术,那个医那个医生放支架里面。
另外我们实验室也做过这个牙科手术模拟器,主要是用来训练这个亚洲的各种,比如说治疗,还有这个拔牙,目前也是产业化之后是卖的最好的,跟北大口腔,还有华西口腔,就是合作的特别多好。
这个是最后我们实验室的一个照片吧,然后这是我联系方式,有机会呢也请各位专家和主任,到我们实验室参观指导工作,谢谢,谢谢参加哥哥,那我得感谢哈,感谢各位专家,各位主持人,今天给我们就是带来一场学术盛宴啊。
大家也可以看到呢,就是说这个AI跟这个就是说医学之间的拥抱,能够拼出不一样的火花哈,然后我们现在呢做ARE的往往是在大模型上,语言模型,实际上呢医学方面哈是结构,影像方面是当我叫做结构语言啊。
功能呢心电图呢实际上是功能性语言,还有生化指标呢,实际上是一个生化语言,怎么样把这些语言融合起来啊,构成多模态的哈,多元的这个数据源,通过AI对我们这个心脏病的自动诊断哈,然后将我来来预测哈。
包括治疗能够提供比较大的帮助,我想呢在座的各位哈,将回来呢肯定有机会,然后在这方面做出你们的贡献,同时我要感谢呢就是说大会的这个工作人员,感谢你们的辛苦劳动哈,使得我们今天的这个会议呢特别的就是顺利哈。
然后最后呢我要十分感谢在座的各位听众啊,感谢你们的热情与积极支持哈,特别是现在呢就是说已经比较晚了,你们仍然在场哈,十分感谢,再次谢谢大家,谢谢各位专专家,各位主持人,各位听众,各位工作人员。
2024北京智源大会-智能驾驶 - P1:论坛背景与嘉宾介绍:刘法旺-黄铁军 - 智源社区 - BV1Ww4m1a7gr
尊敬的黄院长,各位嘉宾,论坛现场及现场的各位专家同行和媒体朋友们,大家下午好,感谢组委会的邀请,很荣幸今年的这个智能驾驶论坛还是由我主持,首先请允许我代表论坛组委会,感谢大家百忙之中抽出时间前来参加。
2024北京资源大会智能驾驶论坛,2023年9月,全国新型工业化推进大会在京召开,加快推进新型工业化作出全面部署,目前各省市区市,各行业各领域都在热烈探讨,深入推进新兴文化,作为国民经济的重要支柱产业。
汽车产业链长,涉及面宽,市场规模大,连接带动效应强,既是现代化产业体系建设的关键领域,也是人工智能,大模型等创新技术应用的重要载体,今天我们聚焦人工智能,大模型等技术在智能驾驶领域的应用研究。
特别邀请八位来自企业,高校和科研机构的知名专家分享各理论研究,技术创新,应用实践等方面的独到见解,我们也希望通过本次会议交流,大家能够碰撞思想,启迪智慧,共同成长,客观讲呢。
这次会啊我们跟很多主机厂都联系过,大家有的呢有各种各样的顾虑,但是我看到的是,所有主机厂都在探讨人工智能,包括大模型,在汽车应用,这是一个基本的潮流,首先请允许我介绍一下八位演讲嘉宾。
他们是长安汽车智能化研究院副总经理,梁鹏华先生,小鹏汽车自动驾驶中心马军副总经理,比亚迪汽车新技术研究院智能驾驶研发中心,感知实验室主任高文博士,未来人工智能*台负责人,资深研发总监白羽立先生。
毫末智行科技有限公司,数据智能科学家鹤翔先生,北京赛木科技股份有限公司杨贤硕总经理,我们还特别邀请了两位,这个学术领域的研究人员,还有电子科技大学万少华教授,上海人工智能实验室青年科学家。
智能交通*台组负责人石波天先生,今天的论坛呢,我们特别邀请了北京智源研究院理事长,中国互联网企业会人工智能工委会主任委员,北京大学黄铁军教授,大家都知,大家都知道。
黄教授是我国智能和大模型领域的顶级专家,高度关注大模型在智能驾驶领域的应用,组织开展了大量的研究工作,在之前在黄老师指导之下,我也有幸参与一部分研究工作,在正式报告之前,我想我们先掌声。
有请黄教授做一个简短的致辞,并对论坛的召开提出要求,大家掌声,欢迎,啊感谢感谢刘主任这个呃给给我这个机会啊,去年就是一样哈,咱们就是一开始我讲了几句嗯,今年呢不觉一年又过去了呃。
这个世界呢发展也也特别快,呃我记得我原来讲过呢,就是嗯我认为呢就是拆的GPT的这个呃,这样的一个一个爆爆火,下一个拆的GPT的时刻就应该是自动驾驶,呃我觉得现在我还是这么认为。
嗯而且呢这个时间的节奏比我想象的原来想的,我当时说两三年对吧,两三年大概就会就会实现,那现在看来可能比我们想象的还要快还要快,呃背后的基本逻辑呢,就是因为大模型的出现,给这个我们原来这个担心。
或者原来要要解决不完的这个corner case问题呢,提供了一个这个一个可以说是一个呃完美的,但是现在不完美啊,不是说现在大模型就完美了,但是从技术路线,方法论上的一个一个一个彻底的解决方案。
就是大漠行呢,他对这个万事万物这个的认知呃,使得哈大模型如果上了车,那就就像这个呃我们人类对吧,学学驾驶,经常说我们学50个小时,我们就可以,我们就可以这个上路了。
呃其实肯定不是这50个小时的培养给我们,让我们就就就就上路了,而是因为你进驾校之前嗯,你就是一个对世界有一个完整认知的人,然后呢你再经过一些规则的这么一些训练,你就可以上路了。
所以大模型呢要训练的就是这么一个人对吧,你现你现在对这个世界的这个事物,呃的它的物理性质,它的这个危险呃,安全这些这些有有认知,然后呢你交通规则,那那并并不难呃,当然我也我们也不说今天做好一个大模型。
然后经过一交通规则一配上,这就完了,哎肯定也肯定不那么简单,但至少呢我就说它提供了一个很好的基础,遇到在遇到这个从来没有出现过的这些这些,这些corner case之后,诶。
呃这个他能做出一个呃没从来没有完美的答案,但是大致来说可能是比较合理的一个判断,就像我们人一样的对吧,我们之所以50个小时,这个就就赶上路嗯,包括我那个我学驾校,海淀驾校学完之后,除了拿了那个驾照。
出了门,那个就就就打个车那个那个,然后那个司机说这个我说你给我开吧,我这我说我已经有证了对吧,然后我就直接就开到了那个当时还在上帝那边,软件园那边就开过,也没没问题,因为虽然是第一次开。
但是呢你很多都是新的啊,驾校没看驾校有,就在驾校那个圈里面转悠转悠,但是呢你到了这个路上,这个遇到什么情况,那我就我就能做出一个判断,只要我不慌对吧,那我这个没见过呢,没关系,那当然后来就一样。
随着这个你开的时间越来越多,然后你你处理的经验越来越多,呃然后但是即便是你咱们我像我我开了多少年,15年车,你开15年之后,你还会遇到这个完全没有预测的这个现象,但是我们也不担心对吧。
不是说不完全不担心,而是说我我还能根据我的这个常识和认知呢,做出一个合理的判断,所以我觉得最重要的大模型呢,希望呢为能为自动驾驶提供这样的一个,一个一个能力,所以在这个意义上讲,去年那个FSD呃。
包今年可能FSD就要真的是,就要就要就要进入市场了对吧,呃但是MSD这种这种方案呃,其实还不是大模型,还不是大模型,不是说它没有用大模型那些要素,技术要素,比如transform啊。
但是它我认为它不是呃,所以所以特斯拉还要买更多的算力,包括在上海要买更多的算力,要要要去训那个东西,因为你要靠这个多少一公里的训练,那这种这种方式来来来来做呃,那是一种是就就就是通通常说的对吧。
那边有个老司机,然后你你坐在边上,你你这么学,他如果你的起点是一个零,然后只是跟司机学,那你肯定是司机遇到过的,你你开始获得一些经验,然后你你你你你可以,但是呢如果没有遇到过的,那就不好说了。
就像他那个当时那个马斯克开的吧,1~1个拐尤TU的地方,哎不知道怎么办了对吧,然后人在接管,所以只靠从驾驶,纯粹的啊,就是咱们说这个车的拍的这些视频啊,传感器的数据来训一个模型,这条路也是不对的。
不是说不对啊,他是一定程度上也能也也不错,但是呢他它不是我刚才讲的大魔性思维,大魔性思维学的不仅仅是驾驶,他要对这个世界的这个呃,包括今天咱们用的图像啊,视频啊,各种互联网啊。
各种各种数据来形成一个认知,然后这样才能对刚才说未知的情况呢,才能做出一个合理的判断,因此呢我认为呢就是后续啊,我们不是说这个特斯拉有了FSD,然后我们就都FSD。
或者说这个它有了多少亿公里的这个这个数据,我们也要必须收集那么多数据呃,我觉得这个这个不一定那么那么去思考,一定规模的数据肯定是需要的,但是要不要弄那么多一公里不一定,如果你大模型的底座的能力强的话。
那就那就不需要那么多,就可以做出一个比IFISD还要,还要还要好多东西,我觉得所以我我我就像刚才说,我仍然对这个大模型的到来,大模型把自动驾驶的这个全自动啊,就是无人的这个这个加速。
仍然是有一有充分的信心,第二呢认为时间会会会加快,因为我们不再需要真的不再需要靠积累多少,那么大量的数据,驾驶数据呃,呃就呃就能解决,所以这也是对我们中国吧,咱们产业的一个一个一个机会呃。
但是另外一方面呢我们也有很多挑战啊,反正我是这个局外人啊,所以我就谈一下我的观察,比如今年那个投资,你看那个投资啊,对聚深智能特别热,因为我们智源嘛,反正这个这都是都是那个比较关注这些东西呃。
投资巨深的这些这些公司涨的也很快,好像投自动驾驶的很少,或者说大家后来问问为啥呢,大概是这个不敢投或者投不动,因为咱们几个这些车厂对吧,咱们这传这咱们比较资深的车厂或者是新势力,那个体量都已经很大了。
你再让他往上追加,自动驾驶那个投资界的那点钱,我们的这些体量来说可能都是一个小小事,所以小小小数,所以呢就就不敢投了,不敢投,这也是个问题对吧,一个产业你要发展,你还是需要更多的我这这些资源的这个知识。
才能才才能才能发展起来,呃,另外一个问题呢,我觉得就是呃,去年呢我们担心,就说我们要有很多很多驾驶数据要要要要呃,现在都在各自的这个手里,大家能不能一定程度上进行这个汇聚,进行这个来来来合作呃。
尽管我刚才说这个不需要多少亿公里,但它还是需要一定量的数据,可能我们每家的数据量呢都还呃没那么大,所以能不能够足够的训出一个一个,让大家满意的无人驾驶模型,呃这是一个仍然是面临的一个一个问题。
还有一个呢,就是咱们说这个他们是有这么多这个大的车厂,也有一些创业公司,包们有学校的,有实验室的,还有刚才说的,昨天那个开复开服说,他他没有投一个机器人公司,但是投了创新工厂,投了几家四家。
还是几家这个这个这个无人驾驶公司,这些都比较小对吧,学校的更小,我也在学校,我们这些这个做的都是一些点点的技术呃,一点创新,然后那个刚才说创业公司它体量也不大,那这么多巨大的巨无霸吧。
再加上这么一些就是大大和小之间差别很大,那怎么合作,这更更成了一个一个一个一个,比较比较比较难的问题,但是不合作呢,我觉得问题更大,当然大家都会相信自己行对吧,比如我就是个创业公司。
我觉得我就能做出一个自动驾驶大脑,那我们的大厂肯定也觉着我我我能做到大脑,我不需要这个什么,但是我我我是个人判断是这样啊,将来自动驾驶的大脑绝对不会有这个那么多,就像大模型热了一阵子对吧。
100魔大战好了,现在自动驾驶说我们现在进入下半场,从新能源进入智能化,进入智能化,每个这个品牌都都要做自己的自动驾驶,驾驶大脑,但是这个市场肯定不是这样的,将来一定是这个就就经常说的像计算机产业。
我们熟悉计算机产业,就像这个这个windows intel,后来一个LINUX,然后移动互联网IOS安卓对吧,现在华为harmony,它基本上应该是那么个呃逻辑,所以那个脑或者那个智能的那个那个部分。
应该是应该是这个呃屈指可数的,那这个东西为什么,因为你要你要你要想啊,这个事情世界它要往前发展,一定是要这个竞争,他那个投入不会小,甚至于那个投入比我们任何一个车厂的研发,投入是甚至体量都要大。
会出现那么一个专门能做这种,就是咱们觉得驾驶脑这样的一个一个一个公司,不管他以什么形式出现,是合作是什么方式,他他他他总会出现,因为将来大家对车的要求会越来越高,你今天可以用今天现成的或者比较成熟的。
做一个也能自动驾驶,咱们就今年L3,明年L4啊,什么这都可以,但是你当你能做L3的时候,这么多品牌的车它还是要竞争啊,消费者的需求会越来越高,既然是无人,那原来的边界都不存在了,原来说这个120km。
这都不是,这肯定不,这肯定不是这个这个上限,只要测试允许两百两百四,咱现在电那加速也很快,这个这个这个这种这转向各方,因为人工智能上去之后,他的他的认知能力提高了,然后说感知更不是问题对吧。
现在传感器可以做得做得很快,呃那个因为我做视觉,我知道这个东西可以做多快,所以这些东西呢这和结合在一起的时候,认知感知水*高了之后,将来那个车的能力,远一定是远远超出咱们的这个目前的这个车的。
这种以人为主导的这种车的这种水*的,所以那个背后的脑肯定是一个要要竞争的,一个很强大的一个一一个脑,所以这时候大家在想,我一个创业公司或者我一个大厂,我现在做的一个脑,到底在那么一个一个一个时代下。
他他的水*或者他的能力,足不足以支撑这个用的这个脑的车,在这个市场中占这个这个最前沿的位置,所以所以我没有,我不知道这个这样的一个一个一个一个脑,应该是应该是以什么方式合作做起来。
但是我觉得我们一定要一定要往那个方向去去,去考虑,一定要方向去想,所以今天的论坛呢,呃呃也希望呢,就是我们既然既是一个这个,大家互相交流的机会,但是呢,我觉得更更多的还是要为我们这个驾驶产车,车的产业。
中国现在车发展的这么好对吧,我们将来希望希望发展的更好,呃,来来多想一想呃,以什么创新的,这个不仅是创新的技术,创新的方式,把这个产业的生态能够更好地建立起来,这个让我们的下半场比上半场跑得更好好。
我就讲这些,谢谢大家,感谢黄教授的深入思考和精彩分享,我想借此机会呢,我也跟大家哦,我我本职工作跟大家报告两件事,第一件事就关于这个自动驾驶,车辆的产业化应用,实际上从2018年开始,就像北京亦庄啊。
上海这些地方,就组织了大量的道路测试和示范应用工作,可能大家去亦庄就是在路上,你都可以打那个示范应用的车,在这个产品和技术不断迭代的基础之上,去年的年底,联合相关部门,就开始启动了准入和上路通行试点。
通过这个初审,还有专家的评审,到目前为止,像长安呢,像比亚迪呀这些企业,这个和试点使用单位组建的联合体,有九家,已经开始在编制测试和评估方案,正式启动这个准入试点工作,整个准轴试点的核心是保障安全。
因为我们发展自动驾驶的目的是替代人驾驶,把人解放出来,比人驾驶更安全,但实际上,这个自动驾驶系统和人是有本质区别的,刚刚黄教授讲到的,他两者两者不是一个物种,但是我想我们应该是以结果导向。
它应该可以替代人,应该比人驾驶更安全,但这个你怎么去证明它,这是我们现在一直在探索的一套体系,就包括准入体系,包括张家的上路通信管理体系,因为大家都知道以前车辆它是一个特殊产品。
就我们这个单位又在支撑部里,做准入管理的技术审核,你接下来是在自动驾驶,这个期间是车辆在执行驾驶任务,那这个怎么去管理,这个实际上是现在正在探索的一件事,另外呢刚才黄教授提了一个非常好的话题。
就是场景资源,数据是一个关键生产要素,场景资源很重很重要,我们现在去验证这个自动驾驶系统和算法,好不好,就是要场景驱动,看它是不是能够有效的进行应对,客观讲,现在各家主机厂检测机构都在建场景。
那你陈述你这个自动驾驶功能时候,也要带有ODC,大家都在做探索,所以这些碎片化的场景资源,怎么能够有效利用起来,像过去这几年我们一直在思考,我们现在啊就我牵我的牵头,再像一汽长安,还有在座的这些主机厂。
还有检测机构,我们一直一直在探索,一个叫多方协同仿真测试的一个*台建设,就在用区块链做数据确权的基础之上,能不能通过安全计算的方式,把这些资源有效地利用起来,可用不可见,那你的产权是你的调用。
你给你做相应的利益分成,然后这个基础上,我们将来在探索国家基准场景库的建设,这个一直在推进,所以大家如果有兴趣的话,我们那个陈真博士也在,大家可以可以跟他进行交流,就这个也在做探索,一直在做推进。
所以我想结合我个人的本职工作,跟大家做一点我们的交流和分享,按照这个会议安排啊,下面进入这个正式报告环节,今天共有这个八位演讲嘉宾,我想每位演讲嘉宾的时间控制在30分钟以内。
第一位演讲嘉宾是长安汽车智能化研究院,副总经理梁凤华先生,这个两种呢牵头完成的远程代客泊车,等17项关键技术在中国品牌的量法量产首发,荣获过重庆市科技进步一等奖,中国汽车工业科学技术奖一等奖等多项荣誉。
牵头制定的汽车驾驶智能化分级国家标准,大家掌声。
2024北京智源大会-智能驾驶 - P2:AI深度赋能:长安智驾落地的实践与思考:梁锋华 - 智源社区 - BV1Ww4m1a7gr
啊尊敬的呃,黄院长还访问主任呃,各位各位领导,各位各位嘉宾,那么呃首先感谢组委会啊,给我们这样的一个机会,那么让我们把这个处于支架应该是最最前线的,是这样的一些实践的这个情况呃。

思考和实践的情况来给大家呃进行一个报告啊,哈总总共主要就是我分享的就两个部分,一个是这个趋势呃和挑战,这里面也同时会有呃,应该说很多的,这个我们在实践过程中的一些思考哎,另外一个就是我们实报也报告一下。
那么长安汽车。

那么在这方面的这个实际的这个进展情况啊,那么总体上呃,我们认为这个支架整体上它还是一个场景的,一个持续的引进哎,同时这个这个呃,它是实际上还是从两个维度来持续的展开,那么一个维度。
那么就是场景的持续的覆盖啊,另外一个维度应该是这个等级呃,就说这个从这个功能的可用到体验的好用,以及呃等级的提升,那么这样的一个这这样的一个,三个大的一个步骤,那么持续的来进行这个提升。
哎当然这个场景的覆盖的话,这从目前整个行业来看,基本上就是从简单的场景到复杂的场景,那么从这个从这个大家这个高频使用的场景,那么到这个非高频的场景,那么这样的一个呃持续的这个覆盖的过程啊。
不过尤其是从呃单车道到高速,那么到城区到停车场到城区等等,哎好,同时这个行业呢,现在当前呢,应该说呃这个从场景覆盖的角度来讲,应该说这个大家逐步的,应该说接覆场景的覆盖的这个阶段,应该已经到了后期。
也尤其是以这个城区领航作为作为代表,当前呢呃更多的应该是进入一个,精耕细作的这样的一个阶阶段啊,那么这个精耕细作,那么主要还是围绕着两个大的方面,那么一个方面就是这个体验呃持续的呃提升啊。
那么让用户不断的建立这个对这个,对这个整个这个支架系统的的他的信心感啊,包括这个也在不断的提升,那么用户他的一些呃购买的医院啊,另外一个方面那么不断的提升安全性,因为这个安全毫无疑问。
那么是支架呃最关键的这个这个基础哎,因为这个安全,其实这个里面它有很多方面的这个这个安全,同时这个随着这些这些问题持续的解决,那么这个呃,我相信最终那么会实现这个呃等级的这个提升,而且等级。
那么它也会最终也会走向规模化的这个覆盖啊,但当当前呃,应该说我们处于一个这个这个等级呃,将来把这个高等级的这个这尤其是L3级以上,那么进行这个商业化的,应该是已经进入走进入了这个这样的一个前夜。
因为这个典型的代表就是呃,智能网联的这个准入的试点哎。

同时这个从呃实际的用户需求哎来看,因为这里面这个用户需求实际上很多,也来自于呃一些这个既有行业报告,那么也有这个实际的一些实际的一些,数据的统计等等,那么现在呃第一个就是渗透率,总体上还是在快速提升的。
那么这个渗透率从两个维度,一个是这个呃用户的基数在快速的这个扩展,因为尤其像L2啊等等,因为现在我们逐步都已经把L2呃,已经要作为这个标配,嗯另外一个就是用户的它的实际的使用的,这个呃时长啊。
月活哎等等,那么也都在啊快速的这个提升哎,那么从从这个我们呃,过去呃几年监测的情况来看,基本上就是单用户的这个*均月活,基本上应该是呃我目前已经翻了一倍啊,尤尤其像2021年的时候,可能像基础的I2。
那么很多可能月活也就是可能30%左右,那么现在实际来看,很多已经达到了可能60%以上,哎同时这个对于这个这个对于一个车企来讲,那么实际上从用户的总的这个,使用时长的这个视角来看。
对这个应该是更是一个数量级的这个变化,可能从21年到现在,可能作为一个车企所拥有的用户总量,基于这个呃基基盘来看,可能这个估计已应该是已经上涨了至少四倍,五倍啊,有些可能七八倍哎。
这样的一个这样的一个状态,实际上这样的话就是对对智能驾驶的,它的安全和体验应该说提出了更高的要求哎,同时这个其实作为作为整车厂及,应该说在这个这个智能驾驶开发的过程中呃。
应该说还是一个也是一个百感交集的过程啊,这个这个既有既有这个呃这个充满希望啊,那么这个同时也有这个呃战战兢兢哎,因为这个这么大的用户体量,而且智能驾驶,那么用户在使用过程中,它是一个持续作用的过程。
而很多问题的发生,可能就是呃,一瞬间的这个这个这个一瞬间的事情哎,所以这个非常这个事对我们来讲,一直也是一直非常这个,这个如履薄冰的这样的一个呃过程啊,啊同时智能驾驶。
那么在技术这个方面也存在非常多的挑战呃,尤其是我们当前的支架,那么还是以这个呃经典支架哎,这个作为主体的路线啊,当前几乎所有的呃这个这个投产的,包括有很多号称是,但实际上这个可能不一定哎。
所以这个这个里面这个哎包括这个呃,尤其像模模型的这个泛化能力等等,包括这个PNC的,传统PAC的这个维护的难度等等,因为这个很多case都是要一个一个呃去解对吧,那包括这个啊建图的成本啊。
哎包括支架本身,它的体验的这个拟人化程度等等,还包括还有数据啊,数据的这个成本呃,是采集的成本,这个标注的生产的成本等等啊,包括部署啊,哎包括整体研发效率等等,还有非常多的问题,那么需要呃。
需要这个在后面的这个持续的提升过程中,那么这个呃快速的解决哎,但这里面有很多也是需要行业那么共同努力啊,来解决一些呃一些问题。

可能效率会效率会更高嗯,啊另外就是刚才也点到这个数据的问题,实际上数据现在这个应该说是呃,整个行业应该还是非常还是非常大的,这个痛点啊,其实这个数据也包括这个生产的效率低,包括重复的采集。
重复的这个标注啊等等,实际上数据我们一直在讲,数据也是资产,但是这个数据实际上当前它没有还没有,至少从我们所看到的情况,它实际上并没有成为资产,为什么第一个就是他没法。
很多时候他的这个就是没有很好的流动,为什么没有衡那段时间标准不统一,那么标准不统一,那导致可能各家数据之间它是很难去复用的,那不能复用它就大家又无法流动,无法流动,就成为就成为成为不了这个资产哎。
实际上这个是我觉得是个是个,是个挺大的一个问题,这个这一块的话啊,确实是需要呃,呃一方面是希望能够呃不断的呃建立健全完善,那么数据相关的一些一些法规,另外就是标准呃,采集方法等等,这个也希望统一啊。
同时啊,这里面也希望这个这个呃国家的数据*台,能够在这个方面也能够发挥更大的这个作用,哎因为这个尤其是数据,这个很多时候可能在前期的时候,可能这个数据有效性啊,那么它数据所采集的数据量。
那么对应的这个性能会快速提升,但是到了到了这个长尾阶段,那么这个时候这个仅仅靠一家或者是各自去做,实际上是代价呃,非是代价应该是巨大,甚甚至是无底洞,所以我们我们认为这个在这个时候。
国可能国家*台在这边没能够发挥这个呃,更大的作用,那么对整个行业应该是会会有巨大的,这个帮助哎,同时包括这个这个图啊,那么这个方面图这块,我们也认为应该还是要建立这个图商和整,车厂的这个新的协同模式。
因为传统的呃,这个图这块,如果呃还是继续采用传统的这种模式实现,效率是非常低的,不管是从鲜度,那么包括这个这个它的整个这个呃,图的成本等等,应该对都是非常高的,那么本来整车厂,那么它是有天然的。
那么尤其随着支架的那么持续的这个铺开,那么它是有天然的这个这个数据的这个基础,那我为什么不能把它很好的,把这个价值发挥出来。

对吧啊,同时这个在这个成本这个方面,这个这个其实成本主要还就是,还是那那三个大的方面呃,但是结构在不停的变化,那个实际上就是说呃算力呃,就是数据算力呃,人力,但人力实际上就是对应的算法这三个方面哎。
那么这个三个方面,只不过是这个三个方面的成结构在不停的变化,那么我们呃从目前来看呃,毫无疑问,那么人力的成本实际上在这个比例里面,是在不断的这个下降的,呃,但是这个算力呃。
数据那么是在呃持续的呃持续的扩大,哎那么在这样的情况下,实际上这个呃确实还是需要,那么呃这个包括政府啊,包括行业能够推动,包括不管是数据呃,这个算力*台的这个呃呃这个共建啊等等。
包括还有就是目前这个算力本身的硬件成本,当前也是在尤其在中国这个市场上,它还是偏高的,那么也确实是需要在这个方面,这个也就专用的芯片啊等等这个方面,那么也能够这个进行这个攻坚哎。
同时这个也需要在这个算法,我们认为确实这个算法还它还有巨大的,持续的迭代的这个空间啊,因为当前这个这个其实行业里面,很多这个很多这个大佬也都在讲哎,那么这个你把当前的这个人工智能的算法。
和人本身的这个这个这个呃相比,那么它的效率不知道低多少对吧,那么这个这个我们认为这个这个将来的这个呃,这个算法这个方面还有巨大的这个提升的,这个空间嗯,需要这个行业,包括尤其像不管什么高校学术机构等等。

那么能够呃这个加快这个方面,一起能够加快这方面的这个研究嗯,好下面我也报告一下,那么长安在智能驾驶这个方面的,这个整整体的这个进展情况,那么长安汽车,那么毫无疑问,那么长安汽车,那么这个从2017年。
那我们开始了第三次的呃这个创业,我们叫创新创业计划,那么这个创新创业计划我们在内部,那么随着行业,然后和整个市场的持续的发展,我们也在不断的这个迭代,那么到目前为止,我们已已经迭代到了这个呃7。0哎。
这个同时这个整个创新创业计划,那么有三个大的这个战略,那么呃这个主要围绕着,比如说香格里拉的那么新能源战略,那么北斗天数的智能化的战略,和这个海纳百川的这个全球化的这个战略。
这个都是作为这个公司的这个三大,这个核心战略嗯,那么最终会构建那么新汽车。

新汽车和新生态哎,那么在里程碑呃,节点这个方面,那么现在那当然加上这个呃最新的呃,呃那么这个我们进入长安汽车,那么进入首批的这个23级,这个智能网联汽车试点,那么这个是应该说是第17个吧。
哎那么这个呃同时,那么我们也也也这个牵头制定了呃,汽车驾驶自动化的这个分级的国家标准,那么这个是在21年进行了翻版,当然这个这个这个呃分级的标准呢,这个我相信因为这个这个作为这个底板。
那么后续应该还要一后面后续,那么随着这个我把这个,我们要把这个真正的L3真正要落地,那么要变成这个要变成这个这个市场化和,商品化的呃,这这样的一个这样的一个产品。
那么这里面还有非常非常多的这样的一些标准,那么具体的操作层面的这个标准可以衡,可以可以量化的这样的一个标准,那么也是需要呃持续的来进行这个完善嗯,同时这个在这个在这个支架的这个自研,这个方面。
那么呃长安汽车实际上现在已经完成,已经这个进行了四代的这个*台的这个支架,*台的这个自研,因为这个我记得前段时间这个呃,刚呃刚发布这个呃,呃长安汽车进入这个R3,这个呃准入试点的时候,诶。
突然发现行业内很多人说诶,他们用的不这个不这个不是自研的等等,哈哈我再给大家再再再进一步的呃,这个澄清一下,这个的确,那么是由长安这个自主这个研发呃这个完成,但同时是也同时和这个行业的合作伙伴。
那么也进行了这个大量的这个协同哎,这个目前我们的这个自研呢,那么已经进是进行了这个四代,那么最早就是2018年,那么那一代,那么是呃,更多的是以这个L2级的这个辅助驾驶,那么为主。
那么这个是典型的就是集成式的自动巡航和,呃这个遥控代客泊车哎,因为这个在2018年那个那个时代,我们是中国品牌,这两个都是中国品牌首发的嗯,同时在2020年的时候,那么我们又进一步的这个量产了呃。
我们内部叫NID1。0,实际上也也是围绕着高速公路辅助的呃,这样的一个系统,还有那个远程智能泊车的这个系统,那么这个我们也是这个尤其是远程智能泊车,也是取得了这个首发。
这个是应该说应该说还是应该是全球首发嗯,到目前为止仍然是长安汽车仍然是唯一的,那么具备这个这个真正在这个产品,这个方面进行这个量产的这个企业嗯,另外就是在2022年,那么我们进一步的有量产的高速领航呃。
这个和这个远程的这个代客代客泊车系统哎,那么这个是呃,同时那么这个这一代系统,那么同时也是我们作为这次准入准入试点的,这个呃这个系统哎,那么这个呃它本身是具备的,具备呃R3的这个能力的啊。
但这个同时我们在这个里面呃,不管是从架构的呃,从架构设计呃,那么包括这个各各项的这个安全设计,那么都是严格按照R3的这个要求啊来进行,同时我们在这里面也是,应该说也是呃这个创新性的使用了。
应该也是全球首发,创新性的使用了这个这个微碰的这样的一个,这样的一个系统,哎,那么这个是啊,为什么这么说,就是为什么要做这个做这个准备,就是因为这个支架肯定是做不到呃,绝对的呃不碰撞的这样的一个可能的。
因为这个支架它毕竟它是一个物理,它是物一个物理的实体,那么既然是物理的实体,它就有它就有这个呃它就有惯性,那么它的刹车,比如汽车最好的刹车,那么它百公里这个刹停,那么也需要30米的滑行的这个距离对吧。
所以这这个这个这个那么做我们做支架,那么一定是要围绕着这个最极限的这个工况啊,来做来做这个准备,嗯啊同时这个这个同时我们也研发了这个,也正在研发这个我们内部叫做唯一的高阶的,这个支架的*台。
那么这个核心就是最终把这个城城市领航,这些全部都解决掉,这个会在这个会在今年啊,那么实现这个量产哎,呃同时这个在这个自研这个方面,其实我们的整个从每一代这个,这个它的这个自研,那么在这个在整个系统里面。
那个战实际上是在呃持续的提升的,那么到目前为止,从这个尤其从第三代,那么应该说核心的算法,那么是全部由长安来开发完成的,从从系统的设计到核心算法,那么全部都是由长安呃设计完成,当然这个硬件啊等等。
那么这个很多是是会和行业那么来进行合作。

嗯啊那么既做好这个支架,那么有个非常呃关键的呃这个基础,因为支架它它仍然是一个整车的支架,它是无法单独存在的,那么这个支架那么要要获得比较好的作用,那么它一定是在一个好的整车的这个架构呃,基础上。
那么我们是打造了这个呃,呃,我们是基于而未来的智能机器人的,这样的一个呃这样的一个终极的思考,那么我们打造了六层的这个架构*台,那么这个六层的这个架构的*台,那么实际上很多时候也是对应呃跟人一样。
那么对应人的这个呃这个运动哎,人的这个手脚运动系统,对应人的这个呃这个比如神经的传输系统,包括这个呃通讯啊等等对吧,对应人的小脑大脑等等,那么总体上就是从L1,那么对应是机械层。
那么L2那么更多的是能源动力层,那么L3那么是一架构R4E架构和硬件,那么L4那么就是操作系统哎,那么R5的话,那么更多的是呃这个应用哎,包括算法应用等等都在L5。
那么L6那么就是实际上是云端和大数据哎。

这是我们的整体的这个架构啊,最新的架构,这个实际上在我们新汽车都已经都已经应用,而且即将量产嗯,同时在支架算法这个呃这个方面,那么应该说我们现在已经掌握了这个经典支架,那么所需要的这些呃。
所有的这样的一些核心的算法能力呃,同时日也正在跨越式的构建,新一代的这个支架的这个算法嗯,那么同时这个这个新一代的支架算法,那么毫无疑问,那么就是以端到端支架,那么作为作为核心呃核心的特征。
但是但这个端到端的这个支架,其实大家应该说也还是有共识啊,总体上就是上限哎,可能大家认为可以无限的想象,但是下限呃有的时候可能也无法想象,所以所以说这个这个我们认为可能在很长。
我们所能够看得见的这样的一个呃时期内,可能这个经典的支架和端到端的支架,两个仍然会是一个呃并存的关系,那么经典的支架,那么后面的作用它就越来越呃集中在,那么解决这个下限呃,问题的。
这样的一个这样的一个关键的这个角色哎。

好同时这个这个关于这个算法这个方面啊,因为这里面还是需要由用两个例子来来特别呃,呃呃可以也可以叫证明吧,就是说我们确实是具备这方面的,这个算法能力啊,这里面有两个,一个是之前UCS的这个打榜。
那么长安也是得过这个打榜的这个呃,这个第一哎,这个是之前这个是有有明确的这个呃,成绩记录啊,另外一个方面就是也是最*,那么在这个端部动漫太的端到端大模型,这个方面,我们也获得了这个计算机视觉与模式识别。
那么CAPR的这个这个2024的这个,赛道创新奖哎,这个是应该也是这个会议的这个最高奖嗯,这个所以这个也也从这点上也是也希望,那么大家对这个呃,这个这个所谓的这个传统整车厂的。
这个实际上在算法这个方面的这个印象,能够有一定的转变啊,实际上确实这方面,我们的宣传还是做的也还是不太够嗯,同时在数据闭环这个方面,我们也建立建立了这个这个呃,应该说完比较相对比较完备的。
这个数据闭环的这个体系嗯,来持续的解决呃,数据的生产训练呃,包括采集生产训练等等各个环节的问题,那么持续的解决这些呃,那么同时也不也在不断的提升,整个这个数据闭环的这个自动化的这个效率啊。
这里面就包括在这个呃这个这个这个一些,比如数据挖掘的工具的研发呀,呃包括我们的整个这个4DBEV的,这个数据自动化的产线,包括我们的整个呃这个规模化的,持续BV的这个动作。
静态真值这个方面的这个自动化效率,那么这块它是提升提升了95%哎,但这个是一个持续而提升的过程,那么随着端到端,那么也会有对整个这个数据产线,会有新的这个要求,哎这个呃也要持续的进步啊。
另外一个就是关于这个这个新的测试体系啊,这个方面其实这个新的测试体系,一方面就是来确保这个,当然首先核心还是来确保这个,我们整个这个系统的这个呃安全可靠呃,和它的足足够的这个场景的这个适应能力哎。
那么同时那么这个围绕着我们最*,那么即将开展的这个试点的这个工作,那么它毫无疑问是试点工作呃,非常关键的这个保障,那么这里面核心的这里面包括多支柱的这个啊,多支柱协同的这个测试呃,测试策略。
还有系统性能安全的这个模型啊,同时最终是实现功能和性能测试内容的,这个百分之百,那么尤其是当这个长安汽车进行这个支架的,这个测试,有一个的确有一个天然的优势啊,这个实际上也是我们这个这个很多时候效率啊。
呃这个测试的效率为什么特别高,确实跟重庆的这种拔地的这个复杂的这样的,一个城市的这个交通环境,有有有巨大的这个关系啊,可能可能在很多其他城市,你出去可能跑得跑个十几公里,几10km才能才遇到的场景。
可能我们出去可能几公里就就可以,可以可以可以碰得到哎,这个也是给我们提供了一个天然的这个呃,天然的这样的一个高效的这个测试基地,那当然我们也建立了完整的这个呃,测试的这个体系。
同时这里面也引入了R157的这个,驾驶员的这个模型诶,那么来来进行自动驾驶的最终的这个性能,安全的这个评估,那么这个当这个这个模型呢,那么基于不同的场景,那么不同的等级。
那么它最终那么它的验收的这个标准,应该是有不同的这个指数嗯,同时也在构建这个新的安全体系,那么这个安全毫无疑问是支架这个稳健落地的,这个最关键的这个底座哎,那么总体上。
那么还是希望这个通过这个新的安全体系,能够实现全车和全生命周期的这种呃,管理的这种半生的这个安全,包括复杂人机耦合系统的这个业务安全呃,这个这个安全就说支架的安全,不是不仅仅包含支架系统本身的安全。
那么它更它同时是一个整车的这个安全,而且不仅仅是这个电子系统的安全,它同电子系统和软件系统的安全,它同时也是一个整车的这个呃结构安全,那么它是这个是一个完整的一个一体化的,这样的一个呃这样的一个体系嗯。
包括这个包括比如碰撞,实际上这个呃,这里面就是为什么整车厂那么做支架,可能最在安全兜底这个方面可以做得更好,因为其实我们在在做很多的这个,在在评估很多安全风险的时候,那么它都是要把这个碰撞安全。
和这个支架本身的这个安全,两个都要结合起来来来评估哎,包括比如说哎我们有的时候这个测试一些,这个哎有些极端场景,那么那么我们也要来看,那么它它实际假设,那么它最终发生碰撞之后,那么它实际的这个的伤害哎。
到底是一个什么样的一个什么样的一个状况,那么对应的我们要采取足够的这个,这个这个措施嗯来保障,当然这里面就是这个也是有对应的,这个一系列的这个体系啊,包括我们最早呃获得了针对自动驾驶的这个。
A4space的这个呃体系的这个认证啊,包括呃这个功能安全,ACUD级的针对自动驾驶的这个功能,功能安全的认证,包括还有预期功能安全,包括这个网络安全等等,那么都有对应的这个应该说很多。
这里面大部分应该都是应该是在国内,应该是最早拿到的这样的一些认证啊,嗯啊包括这个呃评价呃,体验的这个评价体系这个方面,因为支架的核心,那么最终是还是要安全高效舒适啊,和内啊,因为这个这个支架呃。
这个它是汽车的这个支架,那么这个而且是人承载人在车内的这样的一个,它不是一个呃,不能用传统的机器人的视角来看汽车的这个,这个这个支架,所以它一定是要整个这个这个智驾系统的,驾驶习惯。
一定是要跟人的这个习惯习惯,那么要很好的这个呃贴合起来嗯,那么这样的话或者是应该说比人要更安全啊,同时比人要更开的要要更好,那么才能获得这个用户的这个信任啊,可能我们如果长期使用支架的。
这个大家都会有都会有很有感触的,因为有的时候可能一个人就是有,有的可能就几秒的哎,他觉得你觉得他开的不像你,那么你可能对他的这个信任感,都会打非常大的折扣,嗯当这个这这些这个评价体系既是一一套指标。
那么我们也会把它呃,这个这个指标会把它客观化啊,同时也会把它逐步的工具化和自动化,可能这个支架系统自己出去开一圈,基本上同自己也会把把这个分数打出来,啊总体上,那么支架它仍然是一个呃呃超级巨大的超级长。
超级宽的这样的一个呃系统工程,那么需要行业这个各个方面,那么进行深度的这个合作,那么长安汽车始终坚持开放互信共赢的理念,那么积积极的和全球的合作伙伴,开展多多领域的深度合作。
我们这里面其实提出了提出了很多的这个合伙,产品,合伙技术合伙,前沿合伙,这些其实不都不是概念啊,其实我们每个方面都有足够多的这个案例呃,在进行落地啊,包括很多这个可能大家原来想象的很难想象的,这个。
这个可能大家是不是有些,可能直接进行互相合作哎,全白合的进行这个联合开发等等,那么这些实际上都在都在进行啊,包括数据呃,在数据方面,我我们现在时间还在跟跟我们有些合作伙伴,那么就是也是全部打开。
那么这个大家一起统一标准,那么一起这个进行这个数据的采标等等,嗯那么这样的工作,实际上这样的话就是可能大家成本呃,比较获得同样的效果,但成本减半是吧,那么和这个这个这样的话。
我相我相信这样的话才能更快的,那么呃一起来推动整个行业的这个发展。

好以上是我分享的主要内容。
2024北京智源大会-智能驾驶 - P3:小鹏汽车AI大模型量产实践:马 君 - 智源社区 - BV1Ww4m1a7gr
那个感谢这个法王主任嗯,感谢黄院长黄教授,感谢各位嘉宾领导,还有各位朋友们能够在这里,大家怎么说呢,欢聚一堂吧,因为咱们做自动驾驶的,或者做汽车行业怎么说呢,今年的一个最热最热的词就是卷卷的,很辛苦的。
所以希望今天下午呢能利用这个场合,大家能够放开那些正在很着急,还在回的工作消息,能够不再受到什么各种各样,来自客户的领导的压力,我们能够在一起谋划下未来,就是看看现在大模型。
人工智能技术到底给我们支架行业,给我们汽车行业能够带来什么样的变化,所以在此呢有一些包括小鹏汽车的思考,一些我个人的思考,在这里跟大家集中报告一下呃,这篇报告的题目叫做,小鹏汽车AI大模型的量产实践。
后面我会有一部分呢,实际上就是紧扣我们小鹏汽车已经量产的技术,跟大家做一个报告,就是我们为什么要去把AI大模型和汽车,放在一起,那我们要做这个事情的原因是什么,其实有一个很明确的结论。
已经写在这个topic里面了,就是我认为AI大模型给汽车行业带来了一个,历史性的重大机遇,这页材料呢是之前咱们汽车工程学会,曾经组织过一个大模型的这个研讨会,当时我的一个引导发言。
在这里跟大家再同步一下,就是我们可以看到啊,现在AI大模型的成功,它的实质是什么,是技术驱动市场,技术使能行业这样的事情,我们回顾整个人类的科技发展史,我们总在讲工业革命,工业革命到来之前。
资本市场或者用户是毫无觉察的,而是用一些技术的驱动一些行业的革命,突然间就改天换日,就做了一个特别大的革新,目前呢,我认为爱戴模型有很明显的传递的这样的迹象,我们可以看到chat gbt问世,这才多久。
SORA问世才这这才多久,已经可以看到翻天覆地,每天都有大模型在各个行业的一些突破,现在基本上所有的巨头都已经进入了,AI大模型行业呃,我右边我在这页PPT,左边列了一下这个图标或者一些icon啊。
这个不重要,因为我知道这个与会的来自很多行业的朋友,很多公司朋友都有非常优秀大模型产品,这里要列可能得列上百个以上,这列不下来,我就只是举了几个,这个并没有任何排位的意思,指数我们可以看到这些大模型。
他们现在在各个行业的发展过程中,其实实质上他创造了从AI集群到整个行业,赋能的一个全链条,全行业的想象空间,尤其大家注意一个信号,之前AI大模型呢可能离普通用户还比较远,普通用户想的什么呢。
我产品经理能不能让AI大模型给我出一个PD,我是个designer,能不能帮我出一页的这个渲染图等等,大家对这个I大模型还有一个隔隔一个隔阂,这隔阂就终端之前的这个终端大,要靠浏览器再怎么去启动一个。
进一个网页或者微信打开一个助手很费劲,就是apple intelligence嗯,这个story大家都知道呃,包括现在可能网上有各种各样的评论,但我从另外一个视角去解读这个事情,就是AI大模型。
会真正的向用户可见的终端去touch,这意味着什么,每个人看到AI大模型和AI大模型,获得一些一手的直接交互的几率会不断增高,这种增高会不断传染到其他行业,那我们再去考虑用户手里的终端,什么是手机。
是电脑pad,尤其手机,那么用户个人或者涉及到一个家庭,或者一个组织最常使用的终端是什么,就是我们汽车,所以说现在整个AI大模型,在手机行业开始爆发,我们可以看到这样的事情。
我认为也会在我们汽车行业快速爆发并复制,第三点呢,刚才的包括像这个梁总经理啊,包括像这个法旺主任黄教授都提到了,现在整个国家呢对于爱大模型也非常关注,现在很多这种示范应用都已经跑起来了。
国家的标准体系已经已经开始启动建设,所以现在可能是一个场合,我们站在国家的角度,站在全行业的角度考虑一下,AI大型模型怎么去赋能,尤其爱大模型的核心,我刚才也说过,就是能够使技术真正把市场驱动起来。
那我们再来看一下爱达模型给我们汽车行业,尤其智能驾驶领域带来的赋能是什么,这个有一个有一句话吧,我放在这里,就是它带来了我们走向全人机,全场景无人驾驶的一个历史机遇,为什么呢,首先我们从技术特征。
I大模型的技术特征最重要是自回归,基于提示词和上下文这些技术特征,长序列的理解理解长序列的attention机制等等,这些其实和人类司机驾驶车辆的观测行为呢,他的行为模式是非常接*的。
它具备一个迁移到自动驾驶场景,的一个天然优势,第二点,大家都知道,所有的爱戴模型都具有一个非常神奇的涌现,智能涌现的能力,这个能力其实可以看到,现在智能驾驶行业上也有一定的体现。
所以我们可以看到后面在我的报告中也会讲到,我们小鹏也发现了,AI大模型上车之后会出现一些非常非常可能,我们现在用规则想象不到的,一些非常漂亮的操作,所以这样的话,那么这在我们整个这个智能驾驶的行业。
这个AI大模型已经有了一些优秀的论文成果,包括去年李教授的这个CVPR的best paper,包括现在包括小鹏在内,我们一些企业的一些量产探索,所以我们认为爱达模型在汽车行业落地。
已经具备了学术基础以及工程路径,尤其工程路径很重要,因为我一直是在小鹏汽车做自研做量产,所以说我们特别在乎任何一个技术,最终如何落地在汽车上面好,那么既然前景这么美好,那么肯定是有挑战。
那么爱达模型在汽车行业量产的挑战是什么,这里面我大概就讲了六个点吧,没有罗列很多文字,因为每一方面拿出来可能半个小时都讲不完,我个人认为,现在AI大模型在汽车强力前汽车上面去做呢,要有两点。
第一点呢必必须能做到前装量产,第二点必须能做到整个关工具链,所有链条的全场景应用,什么叫做前装量产,我们车上跑的并不是一个超级计算机,也不是一个什么什么的云,我们车上跑的是车规级的算力和芯片。
和它的域控制器,它的算力,其实目前来看还是非常有限的,现在AI大模型随便一个模型,一随便一个网络,它的参数就是多少多少个币,这个听起来是很吓人的,那么在汽车上如果想尽快落地。
一定要对AI大模型适配在汽车上的,车规级的算力和预控,芯片和预控,要做对应的裁剪,要做对应的优化,第二块呢就是先进网络在车端的部署适配,我们搞那么多的网络和结构,我们在车上去部署,那么第一个问题。
算子那些operator支不支持整个这个结构,支不支持这个车端上的硬件,它的各种各样的它的这个延迟,delay latency行不行,那么如何把它部署上去,其实里面有大量大量的工程诀窍。
有大量的大量的坑要去填,第三点就是有线系性能系统的总体调优,现在可能大家在多少年前,或者包括现在吧,一遇到一个算力问题,如果说是推理算力都会问多少多少个T,多少个T,这只是只是深度学习的推理算力。
所有人可能都忘掉了,我们还有CPU的算力,忘掉了我们还有内存带宽的限制,忘掉了我们还有传感器,忘掉了,我们还有各种各样的接口,我们的PCIE,我们的以太网,我们的这个网络写结构,节点发现等等。
这是一一整套的东西,所以说我们实质上来讲是在车上,一个性能有限的系统,要做一个总体调优,尤其对于我们主机厂,我们要做到前装量量产,我们还必须做到成本可控,不能把最昂贵的最理想的硬件全堆在车上。
一定要有取舍,这其实也在考验一个工程能力,那么它的全链条全场景应用呢主要有几块,这块就数据自动标注,以前在两地两地的这个世界的时候,当时就做了简单的分类,人工画个点,描个框,很简单,这个tag打完了。
当时成本也可接受,现在在大模型见到的全是长序列,既然是一个长序列的一个视频,那么就存在一个问题,我们的标注怎么办,所以我们必须有非常好的全自动标注能力,不然的话这是没有办法办法把它跑下去的。
我们小鹏内部有个实践,就我们之前在我们那个第一版,最早最早上transformer上x net的时候,我们当时做了一些全自动标注的尝试,可以把2000人年的标注量缩短到16。7人天。
标注效率提升了4万5000倍,所以如果后续我们还想消费海量的这些CLIPSE,这些AI大模型,我们的所有的全自动数据标注,必须做的非常的solid,非常的踏实,大家也知道,对于一个计算机深度学习系统。
Ground truth is everything,第二点呢,我们需要非常高效的计算训练的基础设施,其实我们可以看到现在智算中心,可能大家现在各种各样的原因,把一些地缘政治的原因卡都变得很火热。
但是呢说到底呢做AI大模型的训练,我们也需要一个有一定的算力支持,不管是所谓的万卡怎么样,但其实真正做钱他有时候不是那么夸张,就是同样是把多少张卡拿过来,你怎么让这张卡很好的集连在一起。
如何把它的网络的带宽放到最大,延迟达到最低,如何更好地训练你的AIINFA,这样认AIINFA做到最棒,这里面其实有大量的高校TU的措施,这就是我提的一个最重要点,就是我们制算基础设施,不要急。
总是去拼有多少张卡,还要看我们的效率有多高,最后一块,就是我们真正把这个I大模型推到汽车上,我们可能也需要有一个自动化的仿真验证,以及分步骤的工程验证,因为毕竟尤其对于小鹏来讲,我们是主机厂。
我们并不是一个算法公司,我们所有的一切都是奔着量产,好现在跟大家来报告一下,AI大模型在小鹏汽车的量产落地的情况呃。

先说第一个,就大家可能也知道,我这也没有写啊,跟大家简单也报告一下,小鹏汽车的自动驾驶的一个量产过程,我们在2020年1月份的时候,就已经像当时全量的用户推送了高速自动,高速领航驾驶。
或者叫做高速自动导航辅助驾驶,就是我们的highway n g p功能,这个是在20202020年的1月份,就已经全量推送了,2022年的9月份就已经向广州,那已经是相当于两年前了。
广州推送了城市NOA功能,然后在2023年去年的Q4的时候,我们也向全量的用户去推送,我们的无图化的XN7P功能,在今年的1月1号,我们当时向243个城市嗯,开了我们的XNGB功能。
应该是当时整个业界开成最多的,然后在这开程的过程中,我们可以看到呃,刚才呃大家也都提到了,就说自动驾驶,总而言之需要考虑它的成本可控,它的节奏可控,我们总需要除了在不断的开开城拼工程,拼迭代的时候。
我们需要从一些本质上去解决自动驾驶的问题,现在随着这个技术的进展,我们也意识到,我们需要从手写的规则代码进化到AI大模型,所以我们把以前串联的感知规划,控制这样一个串联的传统线条。
现在小鹏汽车的量产汽车上,我们已经把它进化到了基于神经网络的经验,直觉就是我们的xnet x brain和EXPLANNER,那么先跟大家解构一下。
现在我们的整个x net expreme和x planner,这样的话我们一个大模型网络的一个情况,就是现在它其实是在一个并行,它在并行在一个网络里面,我们可以认为,这是一个端到端的三位一体的网络。
它仿生了司机的眼睛,大脑和小脑,他们这三个网络呢各司其职又协调一体,可以让这些复杂场景,就像我说的,体现出自动智能这这个大模型一些涌现能力,它可就像人的肌肉记忆一样。
它通过一些长序列的attention,可以得到一些最完美的路径,可以很自如的破解一些corner case,我们可以先看一下我们的x nex net呢,大家都知道这个BEV transformer。
现在都等,可能大家耳朵里面都快磨出茧子了,在去年3月31号的时候,我们就向全网的客户全量推送了OTA,推送了当时我们的XNGP1。0,当时我们的x net就已经上了车。
我们x net在去年3月底上车的时候,应该是国内第一个基于BE非加transformer,这里为什么要强调加transformer,因为当时有很多的BEV实现,包括我知道现在一些BEVV实现。
都通过LSS做的,当时能做到transformer的,应该只有小鹏汽车这一家做的一个量产,在当时硬件的很多算子可能支持还有限的时候,我们用了大量的工程手段把它做出来了,所以说我们的x net。
在有x net这样的一个基础之上,我们在今年对x net又做了更大更大的一个扩展,包括更长的感知距离,我们可以看到我们现在的感知的这个范围,已经提升到了两之前两倍以上,可以达到1。8个足球场面积那么大。
包括如果从分类来讲的话,我们有50家以上的目标物的分类,同时我们的占据网络也上车了,后面有个demo,大家也可以看到我们可以做通用障碍物的检测,所以它某种意义上我们做到了一个全知。
360度无死角大范围的一个视觉感知,深度基于大模型的深度视觉感知,然后我们的x planner现在来讲的话,就我们之前有很多大家知道PNC很难,conner case减不完,刚才梁总也提到了。
那么我们现在用x plan来上线,我们通过深度学习,通过大模型来做路径规划,所以通过我们x plant的现在上车效果来看,我们可以看到前后顿挫减少了50%,速度卡死的减少,减少了白速度,卡停。
这个违停或者各种各样的这种,导致次车被卡死的情况减少了40%,我们的安全接管减少了60%,再提一下这个我们这个x brain,就说这个其实是非常重要的一个点,就是场景识别和一些特定的语义识别。
因为我们现在在咱们尤其在咱们中国道路环境,可能是整个世界范围内最复杂道路环境,我们有常见的交通标志标线之外,除了常见的红绿灯之外,我们还有隧道,有高架桥,大家知道,其实做自动驾驶汽车以前在定位时候。
一个传统性难题,进入隧道的定位丢丢失隧道场景的不识别,高架桥上和高架桥下的不识别等等,这些我们都可以通过x brain做场景识别,可以把它找出来,同时我们还要注意,在中国。
现在很多城市我们的基建非常发达,我们有潮汐车道,有特殊车道,有待转区,还有各种各样的路牌,路牌文字,这些的话我们需要去做识别,所以我们就是通过像x spin,XNEX3的这样的一个三个这样的大模型。
都实现了一个端到端三位一体的网络,我目前就是做了一个评估,我们把我们现在整个的支架能力,可以提升两倍以上,当然这是一个很环子含糊的词,这里面要去拆,可以用很多指标去拆,但其实这个并不重要。
核心的就是通过我们的工程实践,也验证了之前我跟大家报告的一个推断,就是端到端的大模型给人工智自动,给整个自动驾驶或智能驾驶行业,带来一个非常非常强大的量产的技术,以呃机历史机遇,那我们再来看一下大模型。
上车就结束了吗,不结束,大家都知道所有的模型它都需要生长,就像我们训练小朋一样,从小要培养它所有的大模型,它都需要有一个迭代,小鹏汽车这边我们也是在努力做一个,整个就是这个自动驾驶或者支架一个迭代。
我们都可以,目前的可以做到两天迭代一次,如此算下来的话,我们支架能力在18个月可以提升30倍,包括我们现在对这三位一体的网络的联合训练,我们现在学习的人工人工的,人类驾驶的精华已经超过10亿公里。
然后我们的CLIPSE,包括我们每天新增的这样里程,都可以达到将将*10万公里的水*,这些数据都还是相对比较老的数据,这应该已经上个月的数据,或者上上个月的数据了,我们现在的数据还在每日这样增长之中。
同时之外呢我们除了做这种视频训练,这主要是把模型训练好,大家都知道我们需要进行推理啊,训练只是第一步,第二步推理推理怎么去检查,我们核心很明确,第一点是自动化的仿真测试,第二点就是叫做实车验证。
因为小鹏汽车我们是一个非常严肃的主机厂,我们所有东西一定要经过大量的实车验证,所以我们现在的实车验证已经超过了,646万公里,覆盖了全国1972个城市和区县,这样大面积的实车验证。
也得益于我们高度自动化或者高效的一些测试,工具链的支持,可以保障我们的泛化能力是经得起考验的,同时的仿真的就更不用说了,我们大量的这个仿真的系统自动化仿真,我们的仿真的积累已经超过2亿多公里等等。
我们包括我们对仿真的一些核心场景的模拟,包括我们对这种专业场景的模拟,这都是多少多少个万,这个我就这些数字,我就不冗余的念了嗯,然后这还有一个很有意思的东西,刚才讲的都是推理能力,其实大家都知道。
AI大模型还有一个特别有意思的,就是生成能力啊,生成式大模型生成是根本,那么就存在一个问题,我们有一些特别特殊的场景,路上很少的场景,我们怎么给它采出来,这经常是个问题,我们经常采不到,采不到怎么办。
那我们可以造啊,现在有I大模型,大家也可以看到像SARA这样能力说,在小鹏汽车我们有一个技术叫做anything,in anything的一个技术,这个*期应该应该这个应该在网上。
可能已经开源了他的一些research paper,然后应该也在投最*期的某一个会议,后续应该如果这个论录入呃,这个论文如果有正式的发表的话,大家可以进一步去check他的消息,它其实就是在生成。
通过这样生成式的模型,在动态视频中插入任意动,静态的强语义或者弱语义的问物体,包括像人,包括像突然出现的婴儿车或者一个垃圾袋等等,然后同时要真实模拟光照,阴影材质色调等元素。
密布罕见的counter case,所以这下面就是我们这个anything,anything的一个一个demo,可以看到,就说我们其实在这方面,我们这样的技术,我们也引入到我们整个的仿真工具链里面。
或者是在适时考虑引入到我们的训练流程等等,这也取决于这个项目的下一步的迭代和发展,我们希望把这个大模型的能力在除了在推理端,在真正实车的路径端,在实车自动驾驶的这个端到端的这方面,能够在整个生成方面嗯。
corner case和仿真方面也能够发挥作用,下面跟大家汇报一下,我们AI大模型在小鹏支架量产效果。

所以其实看到这是两个case,其实有很多这样的视频啊,因为这个太大了,我就不不拿过来浪费大家时间。

就可以看到我们的汽车。

在这种复杂的夜间的环境中,这种窄路上面,可以360度无死角的去实时感知。

所有的运动物体,静态障碍物,还有这些通用障碍物,我们可以看到这里面有我们的占据网络。

比如像这左边这张图,这会就占据网络已经被检测出来,对我们整个自车的可行驶路径。

进行一感知层面的表达,同时我们的x planner。

也可以规划出非常漂亮的路径,比如大家看右边这个图,我们再做一个左转左转。

它是一个非常拟人化,拟人化,左转有大量的逆行的这种电动车呀,汽车呀。

项目过来,我们还在一个立交桥下,场景非常复杂,但是我们通过大模型能力做出一个非常自然,非常流畅流畅的左转路径,所总结来说,爱达模型通过我们在实际实车量产,这都是已经我们经量产的技术。
可以看到它在感知的视野,轨迹的合理性以及博弈方面,都具有非常非常强大的一个优势,可以是一个跨越式的进展。

然后除了刚才提到的我们的行车之外,AI大模型其实现在全方位赋能,我们赋能我们小鹏的其他一些支架能力,比如说我们的AI泊车,我们现在也是做了全球首个量产的,离车薄入和迎宾出库。
我们对于一些通用障碍物的识别,如果你要离车泊入的话,那么如何去保证更好的安全性,嗯包括如何对车位更好的感知等等,对所有的路径的规划,泊车速度的提升,包括我们的AI代驾。

这里要讲一下AI代价,AI代驾呢是我们整个来讲的话,可能小鹏汽车现在唯一一个大规模量产的,在主机上面量产的技术,就现在很多很多的这个产业界的朋友友商,他们都是在做这样的呃城市NOA。
但我们小鹏除了我们XNGP之外,我们还保留了AI代价这样的一条线,它其实我们考虑到用户的习惯不一样,用户会千人千面,有千面有需求,尤其有些特别难的一些小路,可能客户的习惯怎么去选择。
他会做出一些可能通过深度学习,需要积累大量的数据才能学出来这些东西,所以这样通用化和泛化性其实是有挑战,所以我们允许让客户自己开一遍,然后把它记下来,通过一些云端的对客户习惯的学习。
通过一些大模型的加持,可以让这条路线走的漂很漂亮,我们现在已经可以知这爱代驾行为,每个客户可以允许它支持G10条路线,每条路线的长度可以达到100km,所以就意味着一个客户的一个旅程。
基本上可以由AI代价全部都付出起来了,同时我们现在基于现在我们大模型的加持,我们在未来的OTA也会对客户这个更新,我们无图XNGP的最新版本,会保证在全季第三季度时候,全国都能开,每条路都能开。
可以让我们的安全接管,我们的违规卡死,各种各样不被各种些其他车违规,导致我们的卡死,不是我们的违被卡死,就我们经常可以遇到他车停在那里成为障碍车,会保证这些方面的,整个的这个KPI都会有大幅度的提升嗯。
同时我们认为I大模型可以提高更大的机会,就像说我们刚才也跟大家报告过,我们的I大模型一直在迭代,一直在演进,那我们相信在2025年的时候,我们通在AI大模型的加持下。
我们可以在中国实现类L4级的智能驾驶体验,因为说到L级主目录,它有大量的规则,章程,安全考虑等等,就我们只说他的能力,可以达到一个非常拟人的一个地步,然后同时我们在海外再进行,对应的一些技术测试。
我们也希望因为我们小鹏汽车也在出海,希望我们能够,我们把这把我们的支架技术带到国外去,带到海外去,能够共同促进这个行业的发展和繁荣。

下面再跟大家快快速报告一下,就是我们I大模型的另外一个应用应用领域,就是AI天机,就是我们在最*的这个全量发布的OTA里面,已经把AI大模型应用在了智能座舱的领域。
所说已经实现了全球首发的全域的大语言模型,在智能座舱上的落地,我们可以看到呢,就说我们现在的AI天机小P,以前呢大家都知道小鹏汽车,我们的语音助手叫做小P,其实这个有点异曲同工之处吧,就是像苹果那边。
他的他把他的SIRI通过大模型进行加持,但这个事情,其实我们在之前520正式发布的时候错了,我们现在的小P里面,也经过了我们合作伙伴和我们一起共研的一些,在云端一些大模型,以及车端一些离线大模型的加持。
可以实现百科全书,用餐馆用车管家小批创作,包括对前方的目标物体识别,各种提醒等等,各种拟人动作等等方面的一个全方位的提升啊,这个的话也是我们在座舱领域的一个一个使用,这里面有一个小P的一个demo。
因为这不是说模式打开了,对我们并没有搞一个特别酷炫的东西,而说就是从客户的普通的场景来看,理解客户想要干什么,中关村再去望京,再去首都机场,再去国贸,再去北京西站,好,正在为你规划路线。
这样的话就是通过以上的这几块可以看到,我们在AI大模型,在我们的智能驾驶到智能座舱,都有了大量的这个量产,已经量产,它不是计划量产,已经量产的实践,那么可以看一下我们正在做的是什么,大家可以知道。
就最*小鹏也有我们一个新,带来了一个新的物种,就是我们的MONA03,MONA的M03这样的一个智能纯电的,非常漂亮的掀背轿跑,在这里其实也是借这个场合打一个广告,我们有一个新的车型马上要上市。
我们也希望通过这些车型能够做这个AI试驾,汽车的全球开创者及普及者,我们相信在大模型的加持之下,整个智能驾驶领域,会就是这个相当于获得了一个呃跃升,的一个非常重大历史机遇机遇。
我们愿意和产业行业的同仁一起共同携手努力,把我们这个国家,我们行业所有的科技发展水*和用户使用体验,再推上一个台阶。


浙公网安备 33010602011771号