这篇来自微软的AI论文介绍了一种新的训练语言模型的方法:模仿人类阅读理解,提高生物医学、金融和法律领域的性能表现

微软AI论文揭秘全新语言模型训练法:超越人类阅读理解的突破,引领医疗、金融和法律领域新表现

由于普通大型语言模型(LLM)过度饱和,领域特定的大型语言模型应运而生。现有的方法可划分为三大类别。第一种是使用通用和领域特定语料库的组合从头开始建立模型。尽管这样可以产生领域特定的LLM,但是庞大的计算和数据需求会带来严重的问题。第二种方法更经济,它使用有监督的数据集来改进语言模型。然而,我们需要确定经过调优的LLM能否理解可以应用于所有领域特定活动的领域知识。第三种方法利用恢复的领域信息来推动通用语言模型的发展,可以视为LLM的应用,而不是对LLM本身的直接改进。

微软的研究人员尝试在领域特定语料库上进行领域适应性预训练,或持续的领域适应性预训练,他们认为这对于定制不同的自然语言处理模型到特定领域是有帮助的。通过将领域特定知识与广泛的能力相结合,该方法在产生领域特定活动的同时减少了开销。这驱使他们研究持续的预训练是否同样有利于广泛的生成模型。他们在生物学、金融和法律三个领域进行了初步实验,并发现在原始语料库上进行进一步训练显著降低了提示性能,同时保持了微调评估和知识探测测试的好处。这使我们得出结论,使用原始语料库进行领域适应性预训练可以教会LLM关于领域的知识,但会削弱其提示能力。

图1展示了阅读理解文本的一个简要示例。下面是原始文本,然后是一系列基于原始文本构建的任务,例如摘要(紫色)、词到文本(蓝色)、自然语言推理(红色)、常识推理(青色)、重述检测(黄色)和文本完成(绿色)。

他们提供了一种简单的方法,将大量原始语料库转化为阅读理解文本,以利用领域特定的知识并提高提示性能。如图1所示,每个原始文本都通过增加几个与其主题相关的任务来进行增强。这些练习旨在支持模型对自然语言查询的持续响应能力,取决于原始文本的上下文。为了进一步提高提示能力,他们为阅读理解文本提供了各种通用指导。他们在生物学、经济学和法律方面的测试表明,他们的方法如何提升了模型在众多领域特定任务上的性能。他们称这个最终模型为适应大型语言模型(Adapted Large Language Model,AdaptLLM)。在未来,他们将进一步扩展此过程,包括创建一个通用的大型语言模型,为不同领域的工作提供更广阔的空间。

总结起来,他们的贡献包括:

• 他们在研究了大型语言模型的持续预训练后发现,将模型继续训练在领域特定的原始语料库上可以提供领域知识,但会严重降低其提示能力。

• 为了有效地学习领域知识并同时保持提示性能,他们提出了一种简单的方法,将大量原始语料库机械地转化为阅读理解文本。他们的测试表明,他们的方法经常在生物学、金融和法律三个不同领域中提升模型性能。