生成式人工智能在网络安全中的承诺与风险
生成式人工智能在网络安全中的承诺与风险' can be condensed as '生成式人工智能与网络安全的承诺与风险
黑帽大会2023年的一次座谈会上，题为“生成式AI：安全的朋友还是敌人？”的讨论提供了有关生成式AI模型（如ChatGPT）对安全团队可能产生的影响的见解。Dark Reading的主编Kelly Jackson主持了这个圆桌讨论，与网络安全领导人Palo Alto Networks的Josh Zelonis、DeVry大学的Fred Kwong和Omdia的分析师Curt Franklin一起参加了讨论。生成式AI的快速发展为安全专业人员带来了机遇和风险。
从积极的一面来看，生成模型可以帮助自动化重复性任务，提高安全分析师的效率。正如Zelonis解释的那样，随着环境变得越来越复杂，AI对于规模化响应是必不可少的。Kwong强调了对威胁研究和教育的好处- AI可以快速总结大量数据，加速技能发展。Franklin警告称，狭义的“领域专业知识”AI比起普通智能更加现实。
生成自然语言查询和报告被认为是关键应用之一。这可以帮助分析师以一致的方式提出问题，以获得可靠的答案。但正如Franklin所指出的，需要查询工程技能来构建有效的AI查询手册。Kwong还指出了将基本活动日志收集等乏味的SOC任务自动化的潜力。
与会专家一致认为，生成式AI可以增强人类能力，但不能完全取代安全团队。Kwong强调了教育员工正确和道德使用AI的重要性。组织需要制定与AI相关的政策和治理，就像对待其他技术能力一样。
在风险方面，专家小组强调了社交工程和网络钓鱼活动的日益复杂。攻击者现在可以生成与目标相匹配的非常令人信服的钓鱼内容。Kwong指出，网络犯罪分子正在创建从公共录音中克隆的合成音频，用于发起语音钓鱼诈骗。
Zelonis解释说，生成模型为攻击者提供了更多的攻击武器，但安全基本原则如零信任仍然至关重要。还存在内部威胁将AI武器化或滥用对敏感训练数据的访问的潜在风险。Kwong建议安全团队向供应商询问客户数据在AI模型训练中的使用方式。
其他挑战包括在安全产品中的“炒作与现实”之间的平衡。正如Zelonis所指出的，组织需要评估何时过早采用AI，而不是增加战略价值。AI的透明度和商业产品的伦理道德也需要审查。
总体而言，专家小组明确表示AI已经来到，安全团队必须拥抱它。凭借强大的数据治理、培训监督和以人为中心的用例，生成式AI可以增强威胁检测和分析师的工作效率。但语音欺骗和深度伪造等风险需要持续的教育。AI安全政策需要不断适应。尽管不是万能解决方案，但深思熟虑的AI采用可以带来回报。然而，技术也带来了安全领导者必须预见的新威胁。
关键要点
以下是生成式AI安全讨论的关键要点：
- 生成式AI可以自动化重复的分析师任务，使安全团队更高效和响应更快。
- 如果经过深思熟虑地实施，自然语言生成的查询和报告是一个有前景的近期应用。
- 然而，AI不是一个神奇的解决方案-它增强了人类的能力，但不能取代安全专家。
- 在部署AI工具时，强大的数据治理、培训监督和政策至关重要。
- 对于AI使用的道德教育至关重要，供应商的透明度也很重要。
- 使用合成内容和声音进行社交工程构成了新兴的生成式AI威胁。
- 在采用AI安全产品时，组织应权衡炒作与现实，并只整合增加战略价值的能力。
- 尽管AI取得了进展，但基本原则如零信任和安全培训仍然至关重要。
- 内部威胁和训练数据滥用等风险需要为AI系统采取缓解控制措施。
- 生成式AI既带来了优势，也带来了新的威胁-量力而行、深思熟虑的方法是最大化利益、最小化风险的关键。
总而言之，专家小组强调了生成式AI对安全的潜力，但强调负责任的采用、教育和智能实施将是获得价值并避免陷阱的关键。
