驾驭舵轮：NVIDIA NeMo SteerLM允许公司在推理过程中定制模型的回答
驾驭舵轮：NVIDIA NeMo SteerLM解锁公司在推理过程中定制模型回答的能力
开发人员现在有了一个新的基于人工智能的方向盘，可以在他们驾驶强大的大型语言模型（LLMs）前进到他们想要到达的位置。
NVIDIA NeMo SteerLM允许公司定义旋钮，以在模型在生产过程中运行时调整其响应，这个过程被称为推理。与当前的自定义LLM方法不同，它允许单次训练运行创建一个可以服务于数十甚至数百个用例的模型，节省时间和金钱。
NVIDIA的研究人员创建了SteerLM，以教导人工智能模型了解用户关心的内容，比如在特定用例或市场中遵循的道路标志。这些用户定义的属性可以评估几乎任何事情，例如模型响应中的帮助程度或幽默程度。
一个模型，多种用途
结果是一种新的灵活性。
使用SteerLM，用户可以定义所有他们想要的属性，并将它们嵌入到一个模型中。然后他们可以在模型运行时选择所需的组合，以适应特定的用例。
例如，现在可以调整自定义模型以满足会计、销售、工程部门或垂直市场的独特需求。
该方法还实现了持续改进循环。来自自定义模型的响应可以作为未来训练运行的数据，将模型调整到更高的实用性水平。
节省时间和金钱
到目前为止，将生成式人工智能模型适应特定应用的需求等同于重建发动机传动系统。开发人员必须费心标注数据集，编写大量新代码，调整神经网络的超参数，并多次重新训练模型。
SteerLM用三个简单的步骤取代了那些复杂、耗时的流程：
- 使用基本的提示、响应和期望的属性，定制一个预测属性表现的人工智能模型。
- 使用该模型自动生成一个数据集。
- 使用标准的监督微调技术对该数据集进行模型训练。
众多企业用例
开发人员可以将SteerLM适应几乎任何需要生成文本的企业用例。
使用SteerLM，一家公司可以实时定制一个唯一的聊天机器人，以适应客户不断变化的态度、人口统计信息或情况，适用于其所服务的众多垂直市场或地理区域。
SteerLM还使得一个单一的LLM能够作为一个灵活的写作合作伙伴为整个企业服务。
例如，律师可以在推理过程中调整其模型，采用正式的风格进行法律沟通。或者市场人员可以为其受众选择更加对话式的风格。
SteerLM的游戏应用
为了展示SteerLM的潜力，NVIDIA在其中一个经典应用领域—游戏中进行了演示（请参见下面的视频）。
如今，一些游戏中有大量的不可操控角色，这些角色会机械地重复预录的文本，而不管用户或情况如何。
SteerLM使得这些角色变得更加栩栩如生，对玩家的提示作出更具个性和情感的响应。这是游戏开发人员可以利用的工具，为每个玩家提供独特的新体验。
SteerLM的起源
这种新方法背后的概念出乎意料地出现。
“一天早上，我一觉醒来就有了这个想法，于是跳起来写下来，”发起SteerLM工作的NVIDIA应用研究科学家东轶回忆道。
在制作原型时，他意识到一种广受欢迎的模型调节技术也可以成为该方法的一部分。当所有的要素都结合在一起，他的实验成功后，团队帮助总结出了这种方法的四个简单步骤。
这是模型自定义领域的最新进展，是人工智能研究中一个热门领域。
“这是一个具有挑战性的领域，是使人工智能更加贴近人类视角的一个圣杯，而我喜欢新的挑战。”这位研究人员如是说道。他在约翰霍普金斯大学获得了计算神经科学博士学位，然后在金融领域从事机器学习算法的研究，之后加入了NVIDIA公司。
亲身尝试一下
SteerLM现已作为开源软件供开发者们尝试。他们可以获取有关使用SteerLM方法定制Llama-2-13b模型的详细信息。
对于希望获得全面企业安全和支持的用户，SteerLM将集成到NVIDIA NeMo中，这是一个用于构建、定制和部署大型生成AI模型的丰富框架。
SteerLM方法适用于NeMo支持的所有模型，包括流行的社区构建的预训练LLMs，如Llama-2和BLOOM。
阅读技术博客以了解有关SteerLM的更多信息。
有关软件产品信息，请参阅通知。
