多模态数据集成：人工智能如何改变癌症护理
多模态数据融合：人工智能如何革新癌症护理
最近我读到了这篇关于人工智能在癌症多模态数据融合方面的文章（链接）。我觉得这些讨论的话题非常有趣，因为它们为精确的患者预测结果和发现相关生物标志物/生物通路的机会提供了新的潜力。非常酷。让我们深入了解一下。
多模态数据是指不同类型的信息源（数据）。癌症可以通过多种模态进行表征，例如放射学（影像）、基因组学（基因、DNA）和组织学（组织样本）。当前的人工智能主要使用单一模态进行操作，忽视了更广泛的临床环境和机会，最终降低了它们的效果和潜力。多模态数据融合使模型能够发现跨模态中的新模式，从而探索和发现新的生物标志物，更好地预测患者的结果或治疗效果，并提供整体上改进的个性化护理。
多模态数据融合是多个数据源的集成。数据融合主要有三种类型：早期融合、中期融合和晚期融合。实质上，每个术语都指的是深度学习框架中多模态数据融合发生的阶段。
生存预测，或者预测患者将存活多久，通常使用Cox比例风险（Cox-PH）模型进行。这个多元线性回归模型需要输入数据/特征进行预测。然而，现在有那么多的医疗信息！我们现在使用人工智能（有监督的、弱监督的和无监督的学习方法）从数据中提取特征，并将其作为Cox-PH模型的输入数据。在人工智能中进行多模态数据融合已被证明可以获得更好的生存预测结果。
- ‘夜莺花是如何运作的’
- 为 OpenAI 创造一个自然语言转 SQL 的超级提示
- HuggingFace推出TextEnvironments：一个机器学习模型和一组工具（Python函数）之间的协调器，模型可以调用这些工具来解决特定任务
模型解释性/内省对于人工智能的开发、部署和验证非常重要。虽然人工智能模型有学习抽象特征表示的能力，但人们担心模型会使用无效、虚假的捷径而不是学习临床相关的方面。为了更多地了解，科学家们提出了方法来了解模型的思考过程以及为什么会做出某些预测。
内省方法通常根据数据类型而有所不同。在组织学图像中，通常使用热图；在放射学中，通常使用注意力得分；在分子数据中，通常使用集成梯度方法（计算指示具体输入如何影响输出的归因值）。当采用更全面的方法时，可以实施归因图以确定每个模态对整体模型预测的贡献。内省方法通常是类激活方法（CAMs），它们使我们能够通过计算输入（例如像素）的变化如何影响每个预测类别的模型输出来确定模型输入的重要性。
多模态数据互连的好处。恶性变化通常可以在不同的尺度上看到；例如，基因突变可以影响细胞行为，进而改变组织形态或在组织学图像中可见的肿瘤微环境。
- 形态学关联可以作为低中等收入环境下筛查支持的经济有效的生物标志物替代品。
- 关联可以揭示新的治疗靶点。
- 非侵入性（例如放射学）和侵入性（例如组织学）模式之间的识别关系将使非侵入性程序能够进行结果预测。
- 在更深入的程序之前获取的数据（例如电子病历）与关联将有助于更快、更容易地识别潜在的预测风险因素。
结论。展望未来，人工智能在癌症护理中的多模态数据整合面临许多障碍，如数据公平性和偏见问题、有限的解释性等。另一方面，人工智能有潜力显著改变和改进肿瘤学。许多人工智能途径具有巨大的影响潜力，例如患者预后、生存和复发的预测、高效的诊断、优化的治疗能力，以及新生物标志物和生物通路的发现和探索。总的来说，这个领域非常令人兴奋，我迫不及待地想分享更多。对于像我这样的机器学习爱好者来说，有个好消息！你可以通过GitHub存储库（例如哈佛医学院的这个）使用各种多模态数据整合模型。
也许在未来，人工智能将能够自主地管理整个医疗过程…
下面列出了一些可能感兴趣的其他资源。
