“一个由羊驼动力驱动的聊天机器人能在CPU上进行训练吗？”
“能否使用CPU来训练一个由羊驼动力驱动的聊天机器人？”
用Llama2、LangChain和Streamlit在CPU上构建本地聊天机器人
简介
本地模型的出现受到了企业的欢迎，这些企业希望构建自己定制的LLM应用程序。它们使开发人员能够构建能够离线运行并遵守隐私和安全要求的解决方案。
最初，这样的LLM非常庞大，主要面向具备资金和资源来配置GPU并在大量数据上训练模型的企业。
然而，现在本地LLM的尺寸更小，这就引出了一个问题：个人拥有基本CPU的用户是否可以利用这些工具和技术？
这是一个值得考虑的问题，因为用户可以从构建自己的个人本地聊天机器人中获得很多好处，这些机器人可以在离线状态下执行任务。
在这里，我们通过在CPU上使用Meta的Llama2构建一个闭源的聊天机器人，并评估其作为个人可靠工具的性能。
案例研究
为了测试在个人计算机上离线运行的本地聊天机器人的可行性，让我们进行一个案例研究。
我们的目标是使用Meta的Llama2的量化版本（7B个参数）构建一个聊天机器人。该模型将用于构建LangChain应用程序，用于促进响应生成，用户可以通过用户界面与该应用程序进行交互。
聊天机器人将使用两个PDF文档进行训练（均可通过arXiv API访问）：
为了提供背景信息，此机器人将在具有以下规格的计算机上进行训练：
- 操作系统：Windows 10
