“大脑的操作:Atlas Meditech利用人工智能和数字孪生地图绘制未来手术之路”
大脑的奇妙探索:Atlas Meditech运用人工智能与数字孪生,描绘医疗手术的未来路径
就像运动员为比赛训练一样,演员为演出排练一样,外科医生在手术前也需要做好准备。
现在,Atlas Meditech让脑外科医生在术前准备中体验到了新的逼真水平,借助AI和物理准确的模拟。
Atlas Meditech是一款脑外科智能平台,采用了工具,包括MONAI医学成像框架和NVIDIA Omniverse 3D开发平台,构建了基于人工智能决策支持和高保真手术排练平台,旨在改善手术结果和患者安全。
Atlas Meditech联合创始人、Neurosurgical Atlas的创始人Dr. Aaron Cohen-Gadol表示:“Atlas为脑外科医生提供了一套多媒体工具,让他们在真实手术前的晚上能够进行心理排练。”。“通过加速计算和数字孪生技术,我们希望将这种心理排练转化为高度逼真的模拟排练。”
Neurosurgical Atlas提供病例研究、手术视频和脑部的3D模型,服务于超过一百万在线用户。作为印第安纳大学医学院神经外科教授的Cohen-Gadol博士估计,美国超过90%的脑外科培训项目以及其他国家的数以万计的神经外科医生,在住院医师培训和手术早期阶段都将Atlas作为重要资源使用。
Atlas Meditech的Pathfinder软件正在整合能够为专家提供安全手术路径建议的AI算法,以抵达病变部位。
利用NVIDIA Omniverse这一用于连接和构建自定义3D流水线和元宇宙应用的平台,团队旨在为手术排练创建患者个体化的虚拟脑部表示。
患者脑部的个性化3D模型
Atlas Meditech先进仿真的一项关键优势,不论是屏幕上还是通过沉浸式虚拟现实,是能够根据患者脑部的大小、形状和病变位置进行定制,使外科医生能够在虚拟脑部上进行实践,与患者脑部完全匹配。
Cohen-Gadol博士说:“每个患者的解剖结构都有些差异。现在借助物理学和先进图形处理能力,我们能够创建出脑部的个性化模型,并与之进行交互,观察和虚拟操作脑部病变。物理属性的准确性有助于重现我们在手术中真实世界的体验。”
为了创建患者脑部的数字孪生,Atlas Pathfinder工具采用了MONAI Label,可通过自动标注MRI和CT扫描来分割出正常结构和肿瘤,支持放射科医生的工作。
Cohen-Gadol博士说:“MONAI Label是任何医疗项目的关键,因为它为我们提供了分割关键结构和保护它们的机会。对于Atlas来说,我们正在训练MONAI Label充当外科医生的眼睛,突出显示个别患者扫描中的正常血管和肿瘤。”
通过对患者脑部的分割视图,Atlas Pathfinder可以调整其3D脑模型,使其变形以适应患者特定的解剖结构,捕捉肿瘤如何影响正常脑组织结构的情况。
基于放射科医生和外科医生可以优化精度的可视化结果,Atlas Pathfinder将建议最安全的手术方法,以便进入并切除肿瘤,而不损伤脑部的其他部分。每种方法都会链接到Atlas网站,其中包括手术计划的书面教程。
Cohen-Gadol博士表示:“在导航高度复杂的3D结构,其中每个毫米都至关重要的情况下,AI-powered决策支持可以产生重大影响。”
为外科医生提供真实的排练环境
Atlas Meditech正在使用NVIDIA Omniverse开发一个虚拟手术室,可以将外科医生带入逼真的环境中排演即将进行的手术。在模拟中,医生可以调整患者和设备的位置。
外科医生将能够戴上VR头盔,在这个虚拟环境中逐步进行手术,并获得有关他们是否严格遵循到达肿瘤目标路径的反馈。AI算法可以预测外科医生在手术过程中使用医疗器械时脑组织的位移,并将这个估计的位移应用于模拟的脑部。
“使外科医生能够进入虚拟的三维空间,切割颅骨并用具有非常相似物理特性的模拟脑部进行手术排练将是巨大的力量,” Cohen-Gadol医生说。
为了更好地模拟脑部的物理特性,该团队采用了NVIDIA Omniverse中的先进实时物理模拟引擎NVIDIA PhysX。他们使用触觉设备,能够尝试将触觉反馈添加到虚拟环境中,模拟与脑组织工作的感觉。
预见AI和机器人在未来外科培训中的应用
Cohen-Gadol医生认为,在未来几年,AI模型将能够通过在手术过程中提供额外的见解来进一步提高手术水平。例如,警告外科医生与他们工作区域相邻的关键脑结构,跟踪手术期间的医疗器械,并提供下一步手术指南。
Atlas Meditech计划探索NVIDIA Holoscan平台,以流式传输AI应用程序,为这些实时的术中见解提供支持。将AI分析应用于手术期间外科医生的行动可为外科医生提供有用的反馈,以提高他们的技术。
Cohen-Gadol医生表示,除了用于外科医生排练手术外,大脑和手术室的数字化孪生还可以帮助培训智能医疗器械,如基于Omniverse开发的机器人仿真应用程序Isaac Sim。
在NVIDIA GTC上查看Cohen-Gadol医生的演讲。
订阅NVIDIA医疗新闻。