在不让GPU达到最大负荷的情况下优化您的LLM

优化LLM，不让GPU达到最大负荷

随着ChatGPT的成功，我们见证了对定制大型语言模型的需求激增。

然而，采用这些模型一直存在一个障碍。由于这些模型非常庞大，对于拥有有限预算的企业、研究人员或爱好者来说，为其自己的数据集定制它们一直是具有挑战性的。

现在，通过参数高效微调（PEFT）方法的创新，完全有可能以相对较低的成本对大型语言模型进行微调。在本文中，我将演示如何在Google Colab中实现这一目标。

我预计，本文对于从业人员、爱好者、学习者甚至是实际操作的初创企业创始人都将具有价值。

因此，如果您需要制作一个廉价的原型、测试一个想法，或者创建一个与众不同的数据科学项目，请继续阅读。

企业通常拥有驱动某些业务流程的私有数据集。

举个例子，我曾在一家银行工作，在那里我们在Excel电子表格中记录客户投诉。为了报告目的，一个分析师负责对这些投诉进行分类（手动）。由于每个月需要处理数千个投诉，这个过程耗时且容易出错。

如果有足够的资源，我们本可以对大型语言模型进行微调，以便让它为我们进行分类，通过自动化节省时间，并可能减少错误分类的比率。

受到这个例子的启发，本文的剩余部分演示了如何为分类金融产品和服务的消费者投诉微调LLM。

该数据集包含金融服务和产品的真实消费者投诉数据。这是由美国消费者金融保护局发布的公开可用数据，包括超过12万个匿名投诉，大约分为214个“子问题”。