新崛起的威胁：在语言模型时代保护应用程序

保护应用程序在语言模型时代面临的新崛起威胁

大型语言模型（LLMs）像ChatGPT这样的强大能力使其对寻求创建下一代应用程序的开发人员变得无法抗拒。但是这种疯狂的采用风险暴露用户于新的危险之中。大多数开发人员不了解LLMs具有独特的漏洞性。构建安全应用程序需要了解这些新风险并实施相应的保护措施。

提示注入攻击是最令人担忧的问题之一。攻击者可以精心制作恶意提示，诱使LLM泄露敏感数据、执行未经授权的代码或进行其他有害的操作。提示注入利用了LLMs将所有文本都解释为用户输入的事实。它们可以直接通过被入侵的聊天机器人或间接通过网站和其他外部来源的文本发生。

另一个严重的风险是训练数据污染。对手可以操纵用于训练LLMs的数据，引入危险的偏见、安全漏洞或不道德行为。例如，竞争对手可以操纵数据以偏好自己的品牌。当真实用户与被损坏的LLM互动时，这些后果就会显现出来。

给LLMs的供应链漏洞也很常见，因为LLMs依赖于各种组件，如数据集、预训练模型和插件。其中任何一个都可能包含漏洞，允许远程代码执行或特权提升等攻击。恶意插件由于其对LLMs的未经检查的访问权限，构成了特别的威胁。

过度依赖不可靠的LLM输出也存在重大风险。LLMs可以生成逻辑上具有说服力的回复，即使完全不正确，这可能导致有害的错误信息或错误决策，如果不经过验证，由LLMs生成的不安全代码也可能为应用程序引入漏洞。

最后，模型盗窃具有严重的竞争和经济影响。复制专有LLM模型的攻击者获得知识产权和敏感数据，同时侵蚀模型所有者的优势。

许多LLM漏洞类似于传统软件安全问题，如代码注入或供应链攻击。然而，LLMs使用自然语言和深度神经网络等因素创造了新的细微差别。例如，虽然SQL注入长期困扰应用程序，但提示注入攻击是一种全新的挑战，它操纵神经网络行为。

其他LLM漏洞在以前的软件中没有相应的漏洞。训练数据污染与任何非机器学习漏洞都没有对应关系。虽然内部数据盗窃并不新鲜，但机器学习模型本身的盗窃是一种新兴的威胁。

在某些情况下，新旧漏洞交叉-一个不安全的插件漏洞可能会导致新颖的提示注入。开发人员必须扩大他们的视野，以确保独特的LLM攻击面的安全。

幸运的是，有一些保护措施可用于减轻这些各种风险。为了防止提示注入，输入验证、净化和最小权限访问控制至关重要。保持用户对LLM操作的控制也限制了未经授权的行为。诸如Nvidia的NeMo Guardrails等代码库甚至可以在提示级别过滤用户输入。

对于训练数据，精心审查来源，净化输入，并使用联合学习等技术检测污染。遵循安全模型的MLOps最佳实践。根据需要限制授予LLMs的功能和自主权。通过一致性检查和人工审核严格验证输出。警告用户可能存在的不准确性。

对于模型安全，使用强大的访问控制，监控活动，并实施对抗性训练以加固模型。具有模型版本控制的MLOps平台还有助于溯源和审计。

LLMs的强大吸引开发人员迅速部署创新的应用程序。但现在的马虎可能导致未来多年的安全受损。在前期采取时间来实施针对新兴的LLM特定漏洞的分层保护措施将使开发人员能够安全而负责任地利用这些模型。

这是一个参与顶级人工智能创新活动的机会：将生成式人工智能投入工作。

利用25+个实操技术课程、引人入胜的演讲和与20+行业专家进行直接互动，让生成式人工智能发挥强大的力量 — 三天充满活力的日子（在线活动）。

与Microsoft、Meta、Salesforce、NVIDIA、Deloitte等机构的智慧合作，让您的职业生涯更上一层楼！

会议组织者正在举行特别限时折扣活动，活动预订可享受40%的折扣。请使用代码“BIGSAVE40”锁定优惠。