斯坦福研究人员提出了EVAPORATE：一种新的人工智能方法，将语言模型的推理成本减少了110倍
Stanford researchers propose EVAPORATE a new AI method that reduces the inference cost of language models by 110 times.
大型语言模型现在经常成为头条新闻。凭借其卓越的能力和在各个领域的应用，几乎每天都会发布一篇新的研究论文或LLM的新更新。当前的LLM具有大量的参数，使得训练成本极高。它们训练的语料库规模达到了数万亿个标记，使得它们非常昂贵。
在最近发布的一篇研究论文中，一些斯坦福大学和康奈尔大学的学生提出了一种可以应对昂贵LLM挑战的方法。团队分享了语言模型（LMs）在处理大型文档时的成本问题。他们举了在5500万个维基百科页面上运行推理的成本例子，超过了10万美元，相当于每1000个标记超过0.002美元的价格。作者提出的方法可以将推理成本降低110倍，同时与直接运行推理的每个文档相比，还可以改善结果的质量。
称为EVAPORATE的LLMs为该原型系统提供动力，并确定了实施该系统的两种不同策略。第一种策略是提示LLM直接从文档中提取值。第二种策略是提示LLM合成执行提取操作的代码。团队评估了这两种方法，并发现它们之间存在成本和质量的权衡。虽然代码合成更便宜，但比直接处理每个文档的LLM更不准确。
EVAPORATE识别多个文档之间的冗余并利用它们来提高效率。团队以从FDA医疗器械报告中提取设备分类属性为例进行了说明。作者们探索了使用LLM生成可重复使用以从每个文档中提取的函数，而不是使用LLM处理每个半结构化文档。
为了提高质量并保持低成本，团队提出了一种名为EVAPORATE-CODE+的扩展代码合成实现。该方法生成许多候选函数，并使用弱监督集成它们的提取结果。虽然弱监督通常适用于人工生成的函数，但EVAPORATE-CODE+使用机器生成的函数，并解决了此设置的挑战，以实现质量改进。
EVAPORATE已在各种格式、主题和属性类型的16个文档集上进行了评估。在每个评估设置的10k个文档中，使用LLM对文档进行次线性遍历的EVAPORATE-CODE+相对于SOTA系统具有更好的性能，在LLM需要处理的标记数量上平均降低了110倍。
总而言之，本文提出了一种有前途的方法，利用LLMs自动提取半结构化文档中的表格。通过确定直接提取和代码合成之间的权衡，并提出实现质量更好且保持低成本的扩展实现，这项工作无疑将为数据管理社区取得进展。
