认识 Med-PaLM 多模态(Med-PaLM M):一个大型多模态生成模型,可以灵活地编码和解释生物医学数据

介绍 Med-PaLM M:一个大型多模态生成模型,能编码和解释生物医学数据

大型语言模型(LLMs)在几乎所有领域都取得了进展,从医疗保健和金融到教育和社交媒体。医疗行业的临床医生依赖各种各样的数据来源提供高质量的护理。这类信息包括临床记录、实验室结果、生命体征和观察、医学照片和基因组数据。尽管在生物医学人工智能(AI)领域有不断的发展,但今天使用的大多数AI模型仅限于处理单个任务并分析来自单个模态的数据。

著名的基础模型为完全改变医学AI提供了机会,这些模型通过上下文学习或少样本微调来适应不同的活动和环境,因为它们是使用自监督或无监督学习目标训练的大量数据。正在开发能够理解来自多个模态的具有复杂结构的数据以处理各种医学问题的统一生物医学AI系统。这些模型预计将对从基础生物医学研究到患者治疗的各个方面产生影响。

研究人员一直在努力创建通用的生物医学AI系统。为了促进这些通用性生物医学AI系统的开发,谷歌研究和谷歌DeepMind的研究人员团队推出了MultiMedBench,这是一个由14个不同的生物医学任务组成的独特基准,以帮助开发这些生物医学AI系统。这些任务涵盖了一系列难题,包括回答医学问题、分析皮肤病和乳房X线照片、创建和总结放射学报告以及识别基因组变异。

作者还提供了一个名为Med-PaLM Multimodal(Med-PaLM M)的概念验证,这是一个可以理解和编码许多种类的生物医学数据(如临床语言、医学图片和基因数据)的大型多模态生成模型,具有不同灵活性的多种级别。与尖端模型相比,Med-PaLM M在MultiMedBench评估中涵盖的所有任务中都取得了竞争性甚至更高的性能。Med-PaLM M在许多情况下甚至比专门的模型表现更好。

团队还分享了一些独特的Med-PaLM M能力。他们提供了该模型在任务之间的正向迁移学习和对医学概念和任务的零样本泛化的能力证据。该AI系统展示了一种新兴的零样本医学推理能力,意味着它可以对其未经专门训练的医学情况做出决策。尽管取得了这些令人鼓舞的结果,但团队强调在这些通用性生物医学AI系统能够在实际环境中使用之前还需要进行额外的工作。然而,公布的结果标志着这些系统迈出了重要的一步,并为未来创建AI驱动的医学解决方案提供了鼓舞人心的可能性。

团队将贡献总结如下。

  1. 这项工作展示了通用性生物医学AI系统在医学应用中的潜力,尽管获取大量生物学数据以进行训练和验证使用性能仍然是一个问题。
  1. MultiMedBench包含14个独特的任务,涵盖了一系列生物医学模态。首个多任务通用性生物医学AI系统Med-PaLM M已经问世,不需要针对任务的特定修改。
  1. 该AI系统展示了一些新兴的能力,例如对新的医学概念的泛化和零样本医学推理。
  1. 通过对Med-PaLM M的输出进行人工审核,显示出其潜在的临床实用性,特别是在生成胸部X线报告方面。
  1. 在平均错误率较低的情况下,放射科医生更喜欢Med-PaLM M的报告,而不是放射科医生的报告,达到了高达40.50%的案例。