与我交谈：一个模型读取了多少个单词
Model word count in conversation
| 人工智能 | LLM | NLP |
为什么以及如何克服大型语言模型的内部限制
最近几个月，LLM在各种任务中展示了自己的技能，表明它们在各种任务中都非常熟练。而这一切都是通过一种交互模式实现的：提示。
最近几个月，人们急于扩大语言模型的上下文范围。但这对语言模型有何影响呢？
本文分为不同的部分，对于每个部分，我们将回答以下问题：
- 什么是提示，如何构建一个好的提示？
- 什么是上下文窗口？它可以有多长？是什么限制了模型的输入序列的长度？为什么这很重要？
- 我们如何克服这些限制？
- 模型是否使用长上下文窗口？
如何与模型交互？
什么是提示，什么是好的提示？
简而言之，提示是如何与大型语言模型（LLM）进行交互的方式。给定一个LLM，我们可以通过以文本形式提供指令来进行交互。这个文本提示包含了模型需要处理响应的信息。提示可以包含问题、任务描述、内容以及许多其他信息。本质上，通过提示，我们为模型提供了我们的意图和我们期望它回应的内容。
提示可以极大地改变模型的行为。例如，询问模型“描述法国的历史”与询问“用三句话描述法国的历史”或“用rap形式描述法国的历史”是不同的。
为了从模型中获得足够的信息，编写一个好的提示是明智的。通常，一个好的提示应该包含一个问题或一组指令。此外，还可以有一个上下文（问题+上下文）。例如，我们可以要求模型…
