一项由萨里大学研究人员开发的新软件可以验证人工智能实际掌握的信息量
A new software developed by researchers at the University of Surrey can verify the amount of information that artificial intelligence actually understands.
在过去几年中，人工智能（AI）领域发生了几项技术突破，深刻影响了多个行业和领域。AI在彻底改革医疗保健行业、改变企业运营方式以及个人与技术互动方面具有巨大潜力。然而，即使在AI技术广泛应用的情况下，仍需要确保某些事项，这种应用只会在未来增加。这就是确保保护AI系统及其所依赖的数据的安全措施变得越来越重要的原因。AI系统在训练中严重依赖数据，这些数据可能包含敏感和个人信息。因此，对于研究人员和开发人员来说，提出能够防止对此类AI系统进行攻击并确保不会被窃取敏感信息的强大安全措施至关重要。
在这种情况下，AI应用程序的安全性已成为研究人员和开发人员关注的热门话题，因为它直接影响到政府、企业等多个机构的整体利益。为了贡献于这一研究浪潮，英国萨里大学的网络安全部门的研究人员团队开发了一种可以验证AI系统从组织数据库中收集了多少信息的软件。该软件还可以确定AI系统是否发现了可能用于恶意操作的软件代码中的潜在缺陷。例如，该软件可以确定AI国际象棋选手是否因为代码中的潜在错误而无法战胜。萨里大学的研究人员将其软件用作公司在线安全协议的一部分的主要用例之一。公司可以更好地确定AI是否可以访问其敏感数据。萨里大学的验证软件还获得了第25届国际形式方法研讨会最佳论文奖。
随着AI广泛应用于我们的日常生活，可以肯定这些系统需要在复杂和动态的环境中与其他AI系统或人类进行交互。例如，自动驾驶汽车需要与其他来源（如其他车辆和传感器）进行交互，以便在交通中导航时做出决策。另一方面，一些企业利用机器人完成某些任务，这些机器人需要与其他人类进行互动。在这些情况下，确保AI系统的安全性可能特别具有挑战性，因为系统和人类之间的交互可能引入新的漏洞。因此，解决这个问题的首要步骤是确定AI系统实际上了解什么。多年来，这一直是AI社区的一个引人入胜的研究问题，萨里大学的研究人员取得了一些突破性成果。
萨里大学研究人员开发的验证软件可以确定AI从其交互中学到了多少知识，以及它们是否掌握足够的知识或过多的知识来危害隐私。为了准确指定AI系统的知识，研究人员定义了一个“程序认识”逻辑，该逻辑还包括对未来事件的推理。研究人员希望通过使用他们独特的软件来评估AI所学到的知识，企业将能够更安全地采用AI系统。萨里大学的研究代表着确保训练数据集的机密性和完整性的重要一步。他们的努力将加快创建可信赖和负责任的AI系统的研究步伐。
