新研究揭示了人工智能中的隐藏性弱点

人工智能隐藏的性弱点：新研究亮出底牌

在不断快速发展的人工智能领域中，变革性变化的承诺遍及众多领域，从革命性的无人驾驶车辆重塑交通运输，到在解读复杂医学图像方面精细应用人工智能。人工智能技术的进步实在是一场数字复兴，预示着一个充满可能性和进步的未来。

然而，最近的一项研究揭示了一个令人担忧但常常被忽视的问题：人工智能系统对有针对性的对抗攻击的脆弱性增加。这一发现对人工智能应用在关键领域的鲁棒性提出了质疑，并凸显了对这些脆弱性更深入理解的需求。

对抗攻击的概念

在人工智能领域，对抗攻击是一种针对性的网络威胁，攻击者故意操纵人工智能系统的输入数据，欺骗它做出错误的决策或分类。这些攻击利用了人工智能算法处理和解读数据的固有弱点。

例如，考虑一个依赖人工智能识别交通标志的无人驾驶汽车。一种对抗攻击可能只是在停止标志上放置一个特制的贴纸，让人工智能误解它，可能导致灾难性后果。类似地，在医疗领域，黑客可以微妙地更改进入到分析X光图像的人工智能系统的数据，导致错误的诊断。这些例子突显了这些脆弱性的重要性，特别是在涉及安全和人命关系的应用中。

• 印度创业公司发布了OpenHathi：首个印地语LLM
• 这篇AI论文介绍了图像文本对齐模型中的详细文本和视觉解释的高级技术
• 印第安纳大学的研究人员揭示了“Brainoware”：一种受到大脑器官和硅芯片启发的先进人工智能技术

该研究的惊人发现

由北卡罗来纳州立大学电气与计算机工程学院副教授吴天傅等共同撰写的一项研究深入研究了这些对抗性脆弱性的普遍性，揭示出它们比以前认为的更为常见。鉴于人工智能在关键和日常技术中越来越多地被整合，这一发现尤为令人担忧。

吴天傅强调了这一情况的严重性，他说：“攻击者可以利用这些脆弱性迫使人工智能将数据解读为他们想要的样子。这非常重要，因为如果一个人工智能系统对这些攻击方式不具备鲁棒性，你不会希望将该系统投入实际使用，特别是涉及影响人类生命的应用领域。”

QuadAttacK：揭示脆弱性的工具

作为对这些发现的回应，吴天傅及其团队开发了QuadAttacK，一款旨在系统测试深度神经网络抗对抗性脆弱性的创新软件。QuadAttacK通过观察人工智能系统对干净数据的反应，并学习其决策方式，然后操纵数据来测试人工智能的脆弱性。

吴天傅解释说：“QuadAttacK观察这些操作并学习人工智能对数据的决策方式，这使得QuadAttacK能够判断如何操纵数据以欺骗人工智能。”

在概念证明测试中，QuadAttacK用于评估四个广泛使用的神经网络。结果令人震惊。

他说：“我们惊讶地发现这四个网络在面对对抗攻击时都非常脆弱”，这突显了人工智能领域的一个关键问题。

这些发现向人工智能研究界和依赖人工智能技术的行业发出警示。揭示出的脆弱性不仅对现有应用构成风险，还对未来在敏感领域部署人工智能系统产生了疑虑。

为人工智能社区呼吁行动

QuadAttacK的公开发布标志着人们在保护人工智能系统方面的更广泛的研究和开发工作迈出了重要一步。通过使这个工具可用，吴天傅及其团队为研究人员和开发者提供了一个宝贵的资源，用以识别和解决他们人工智能系统中的脆弱性。

这个研究团队的发现和QuadAttacK工具将在神经信息处理系统会议（NeurIPS 2023）上进行介绍。该论文的主要作者是北卡罗来纳州立大学的博士生Thomas Paniagua，合著作者是该大学的博士生Ryan Grainger。这次展示不仅仅是学术性的演练，更是呼吁全球人工智能社区优先考虑人工智能的安全性发展。

当我们站在人工智能创新与安全之交的十字路口时，吴天傅及其合作者的工作既是一个警戒的故事，也是一个指引未来人工智能可以既强大又安全的未来。前方的道路虽然复杂，但对于将人工智能可持续地融入我们数字社会的布局而言是至关重要的。

团队已将QuadAttacK公开发布。您可以在这里找到它： https://thomaspaniagua.github.io/quadattack_web/