你的开源LLM项目有多大风险？一项新的研究解释了与开源LLMs相关的风险因素
新研究解释开源LLM项目风险
大型语言模型（LLMs）和生成式人工智能（如GPT引擎）最近在人工智能领域引起了轩然大波，并且在零售个人和企业市场中都存在一种激烈的炒作，以跟随这股新技术浪潮。然而，随着这项技术迅速在市场上承担多个用例，我们需要更加关注其安全性，并且需要更加详细地关注与其使用相关的风险，尤其是开源的LLMs。
最近由著名的自动化软件供应链安全平台Rezilion进行的研究调查了这个确切的问题，并且发现令人惊讶。他们考虑了符合以下标准的所有项目：
- 项目必须在八个月之前或更短的时间内创建（大约在2022年11月至2023年6月期间，即本文发表时）
- 项目与以下主题相关：LLM，ChatGPT，Open-AI，GPT-3.5或GPT-4
- 项目在GitHub上必须至少有3,000个星标
这些标准确保了所有重要项目都包含在研究范围内。
为了阐述他们的研究，他们使用了一个名为OpenSSF Scorecard的框架。Scorecard是由开放源代码安全基金会（OSSF）创建的静态应用程序安全测试（SAST）工具。它的目标是评估开源项目的安全性并帮助改进它们。评估基于有关代码库的不同事实，如其漏洞数量，维护频率，是否包含二进制文件等。
所有检查的目的是确保符合安全最佳实践和行业标准。每个检查都有与之相关的风险级别。风险级别表示与不遵守特定最佳实践相关的预估风险，并相应地为分数增加权重。
目前，18个检查可以分为三个主题：整体安全实践，源代码风险评估和构建过程风险评估。OpenSSF Scorecard为每个检查分配了0到10之间的序数分数和风险级别分数。
事实证明，几乎所有这些LLMs（开源）和项目都涉及重大安全问题，专家将其分类如下：
1. 信任边界风险
此类风险包括不充分的沙箱环境，未经授权的代码执行，SSRF漏洞，不充分的访问控制，甚至是命令注入等。任何人都可以注入任何恶意的NLP掩码命令，这可能跨越多个渠道并严重影响整个软件链。
一个流行的例子是CVE-2023-29374漏洞（第三个最受欢迎的开源gpt）
2. 数据管理风险
数据泄露和训练数据污染属于数据管理风险类别。这些风险涉及任何机器学习系统，并不仅限于大型语言模型。
训练数据污染是指攻击者通过故意操纵LLM的训练数据或微调过程来引入漏洞、后门或偏见，从而破坏模型的安全性、效果或伦理行为。这种恶意行为旨在通过在训练过程中注入误导性或有害信息来损害LLM的完整性和可靠性。
3. 内在模型风险
这些安全问题是由底层机器学习模型的限制引起的：AI对齐不足和过度依赖LLM生成的内容。
4. 基本安全最佳实践
这包括一般安全最佳实践中的问题，如不正确的错误处理或不充分的访问控制。这些问题通常不仅适用于一般的机器学习模型，而不是特定于LLMs。
令人惊讶和令人担忧的事实是这些模型所获得的安全评分。在检查的项目中，平均分数仅为10分中的4.6分，平均年龄为3.77个月，平均星标数为15,909。
该公司不仅强调了这些项目目前所面临的安全问题，还在他们的研究中广泛提出了可以采取的措施来减轻这些风险，并使其在长期运行中更加安全。
总之，该公司强调了需要正确管理和确保安全协议的必要性，突出了特定的安全弱点，并提出了可以消除此类风险的改变。通过进行全面的风险评估和强大的安全措施，组织可以在保护敏感信息和维护安全环境的同时利用开源LLMs的力量。
