在本地使用CPU推理运行Llama 2进行文档问答

在本地使用CPU运行Llama 2进行问答

第三方商业大型语言模型（LLM）提供商，如OpenAI的GPT4，通过简单的API调用使LLM的使用民主化。然而，由于涉及数据隐私和合规等各种原因，团队可能仍然需要在企业边界内进行自我管理或私有部署来进行模型推理。

开源LLM的广泛应用使我们有了很多选择，从而减少了对这些第三方提供商的依赖。

当我们在本地预设或云上托管开源模型时，专用的计算能力成为一个关键考虑因素。尽管GPU实例可能是最方便的选择，但成本很容易失控。

在这个简单易行的指南中，我们将探索如何在Python中在本地CPU推理中运行量化版本的开源LLM，用于检索增强生成（即文档问答）。具体来说，我们将在这个项目中利用最新的、高性能的Llama 2聊天模型。

LLM已经证明具有出色的能力，但已知它们需要大量的计算和内存。为了管理它们的不足，我们可以使用量化来压缩这些模型，以减少内存占用并加速计算推理，同时保持模型性能。

量化是一种减少用于表示数字或值的位数的技术。在LLM的上下文中，它涉及通过使用较低精度的数据类型存储权重来减少模型参数的精度。

由于它减小了模型大小，量化对于在资源受限的设备（如CPU或嵌入式系统）上部署模型是有益的。