实用的提示工程

Practical Tips Engineering

使用LLMs成功提示的技巧和诀窍…

(Photo by Jan Kahánek on Unsplash)

由于其文本到文本的格式,大型语言模型(LLMs)能够通过单一模型解决各种任务。这种能力最初是通过GPT-2和GPT-3等模型的零和少样本学习来证明的[5, 6]。然而,当LLMs被微调以与人类偏好和指令对齐时,它们变得更加引人注目,可以实现流行的生成应用,如编码助手、信息查询对话代理和基于聊天的搜索体验。

由于它们所能实现的应用,LLMs在研究界和流行文化中迅速走红。在这一过程中,我们还目睹了一个新的、互补的领域的发展:提示工程。在高层次上,LLMs通过i)将文本(即提示)作为输入,ii)生成可从中提取有用信息的文本输出(例如分类、摘要、翻译等)来运作。这种方法的灵活性是有益的。然而,我们必须确定如何正确构建输入提示,以使LLM有最好的机会生成所需的输出。

提示工程是一门经验科学,研究不同提示策略如何优化LLM的性能。尽管存在多种方法,但在本概述中,我们将了解提示的一般机制,以及一些基本(但非常有效!)的提示技术,如零/少样本学习和指令提示。在此过程中,我们将学习一些实用的技巧和经验,可以立即采用,成为一个更有效的提示工程师和LLM从业者。

(created by author)

理解LLMs。由于本概述着重于提示,不会解释语言模型的历史或机制。为了更好地了解语言模型(这是深入理解提示的重要先决条件),我写了一系列概述可供参考。这些概述按照以下顺序列出(…)