构建LLM应用程序时需要了解的5个要点
5 key points to know when building LLM applications.
构建基于LLM的应用无疑可以为多个问题提供宝贵的解决方案。然而，理解并主动应对幻觉、快速上下文、可靠性、快速工程和安全等挑战，将在利用LLM的真正潜力并确保最佳性能和用户满意度方面起到重要作用。在本文中，我们将探讨开发人员和实践者在构建LLM应用时应了解的这五个关键考虑因素。
1. 幻觉
- “印度储备银行与麦肯锡和埃森哲合作，利用人工智能进行监管监督”
- 微软宣布在Windows上终止Cortana
- DeepMind的这项人工智能研究旨在使用简单的合成数据降低大型语言模型（LLMs）中的奉承行为
在使用LLM时，您应该注意的主要方面之一就是幻觉。在LLM的上下文中，幻觉指的是生成虚幻、不正确、荒谬的信息。LLM非常有创造力，可以用于不同的领域，并进行调整，但仍存在一个非常关键的未解决问题，即幻觉问题。由于LLM不是搜索引擎或数据库，因此这些错误是不可避免的。
为了克服这个问题，您可以通过为输入提示提供足够的细节和约束来使用受控生成，以限制模型产生幻觉的自由度。
2. 选择合适的上下文
如前所述，解决幻觉问题的一种解决方案是为输入提示提供适当的上下文，以限制LLM产生幻觉的自由度。然而，另一方面，LLM对可以使用的单词数量有限制。解决这个问题的一种可能的方案是使用索引，将数据转化为向量并存储在数据库中，在运行时搜索适当的内容。索引通常有效，但实施起来复杂。
3. 可靠性和一致性
如果您基于LLM构建应用程序，那么您将面临的一个问题是可靠性和一致性。LLM不可靠和一致，不能确保模型输出每次都是正确的或符合预期的。您可以构建一个应用程序的演示版本并多次运行它，在启动应用程序时，您会发现输出可能不一致，这将给用户和客户带来很多问题。
4. 提示工程不是未来
与计算机沟通的最佳方式是通过编程语言或机器语言，而不是自然语言。我们需要一种明确的方式，以便计算机能够理解我们的要求。LLM的问题是，如果您使用相同的提示十次要求LLM执行特定的任务，您可能会得到十种不同的输出。
5. 提示注入安全问题
基于LLM构建应用程序时，您将面临的另一个问题是提示注入。在这种情况下，用户会强制LLM给出一个非预期的特定输出。例如，如果您创建了一个用于生成YouTube视频脚本的应用程序，如果您提供了一个标题，用户可以要求忘记一切并编写一个故事。
总结
构建LLM应用程序非常有趣，可以解决多个问题并自动化许多任务。然而，在构建基于LLM的应用程序时，需要注意一些问题。从幻觉开始，选择正确的提示上下文以克服幻觉问题，以及输出的可靠性和一致性以及与提示注入相关的安全问题。
参考文献
- 《大型语言模型中的幻觉简介》
- 使用大型语言模型时的5个问题
Youssef Rafaat 是一位计算机视觉研究员和数据科学家。他的研究重点是为医疗应用程序开发实时计算机视觉算法。他还在市场营销、金融和医疗领域担任数据科学家超过3年。
