“生成式人工智能的新领域-远离云端”

探索生成式人工智能的新领域 摆脱云端的创新之路

一开始,互联网诞生了,彻底改变了我们的生活方式——我们的沟通方式、购物方式、经营方式。随后,基于延迟、隐私和成本效益等原因,互联网发展到了边缘网络,催生了“物联网”。

现在,人工智能出现了,让我们在互联网上的一切更加轻松、个性化、智能化。然而,为了使用它,需要大型服务器和高计算能力,因此它被限制在云端。但是同样的原因——延迟、隐私和成本效益,推动着像Hailo这样的公司开发出能够在边缘进行人工智能的技术。

毫无疑问,下一个大趋势是生成式人工智能。生成式人工智能在各行各业都具有巨大潜力。它可以用于简化工作流程,提高各种创作者的效率,比如律师、内容撰写人员、平面设计师、音乐家等等。它可以帮助发现新的治疗药物或在医疗程序中提供帮助。生成式人工智能可以改进工业自动化,开发新的软件代码,并通过自动合成视频、音频、影像等方式增强交通安全性能。

然而,生成式人工智能今天的存在受限于技术的局限性。这是因为生成式人工智能发生在云端——昂贵、耗能的大型数据中心远离实际用户。当有人对像ChatGPT这样的生成式人工智能工具发出指令时,请求通过互联网传输到云端,在服务器上处理后再通过网络返回结果。

当公司为生成式人工智能开发新的应用并将其部署在不同类型的设备上——视频摄像机和安防系统、工业和个人机器人、笔记本电脑甚至汽车上时,云端成为带宽、成本和连通性方面的瓶颈。

对于驾驶员辅助、个人电脑软件、视频会议和安全等应用来说,不断在网络上传输数据可能存在隐私风险。

解决方案是使这些设备能够在边缘处理生成式人工智能。事实上,基于边缘的生成式人工智能将有利于许多新兴应用。

生成式人工智能的崛起

考虑一下,比如六月份,梅赛德斯-奔驰表示将在其汽车上引入ChatGPT。例如,在配备了ChatGPT的奔驰车中,驾驶员可以不用手持设备,通过语音询问车辆根据家中已有的食材提供晚餐食谱。这是指,如果车辆连接到互联网。在停车场或偏远地区,情况就不一样了。

在过去的几年里,视频会议已经成为我们大多数人的第二天性。软件公司已经将各种形式的人工智能整合到视频会议解决方案中。也许是为了即时优化音频和视频质量,或者是将人们“放置”在同一个虚拟空间中。现在,生成式人工智能驱动的视频会议可以自动创建会议纪要,或者实时从公司信息源中获取相关信息,以便在讨论不同主题时使用。

然而,如果智能汽车、视频会议系统或任何其他边缘设备无法连接到云端,那么生成式人工智能体验将无法进行。但它们又有没有必要依赖云端呢?考虑到巨大的云端人工智能计算量,这听起来似乎是一项艰巨的任务,但现在这已经成为可能。

边缘生成式人工智能

目前已经存在一些生成式人工智能工具,例如能够自动生成丰富、引人入胜的PowerPoint演示文稿。但用户需要能够在任何地方使用这些系统,甚至无需互联网连接。

同样地,我们已经看到了一类新型的基于生成式人工智能的“副驾驶”助手,它们将通过自动化许多例行工作,如创建报告或可视化数据,从根本上改变我们与计算设备的互动方式。想象一下,打开一台笔记本电脑,电脑通过摄像头识别出你,然后根据最常用的工具(如Outlook、Teams、Slack、Trello等)自动生成一天、一周、一月的行动计划。但为了保护数据隐私并提供良好的用户体验,必须有在本地运行生成式人工智能的选择。

除了满足不可靠连接和数据隐私的挑战,边缘人工智能还可以帮助减少带宽需求并提升应用性能。例如,如果生成式人工智能应用正在通过云端创建数据丰富的内容,比如虚拟会议空间,那么这个过程可能会因为可用带宽(以及昂贵的带宽)而产生延迟。某些类型的生成式人工智能应用,比如安防、机器人技术或医疗保健,需要具备高性能、低延迟的响应,这是云端连接无法处理的。

在视频安全领域中,重新识别人们在众多摄像头之间移动的能力──有些摄像头放置在网络无法到达的地方──需要在实际摄像头中进行数据模型和人工智能处理。在这种情况下,可以使用生成式人工智能来自动描述摄像头通过简单查询所看到的内容,比如“找到那个穿着红色T恤和棒球帽的8岁小孩。”

这就是边缘生成式人工智能。

边缘人工智能的发展

通过采用一种新的AI处理器类别和开发更精简、更高效但同样强大的生成式人工智能数据模型,可以设计出在无法或不希望与云连接的边缘设备智能运行的方法。

当然,云处理仍然是生成式人工智能的关键组成部分。例如,训练AI模型仍将在云中进行。但将用户输入应用于这些模型的行为,称为推理(inferencing),可以在边缘发生,而且在许多情况下应该在边缘发生。

该行业已经在开发更精简、更小、更高效的可加载到边缘设备的AI模型。像Hailo这样的公司制造出专为进行神经网络处理而设计的AI处理器。这些神经网络处理器不仅能极快地处理AI模型,而且功耗更低,因此既节能又适用于各种边缘设备,从智能手机到摄像头。

在边缘进行生成式人工智能处理也可以有效地负载均衡不断增长的工作负载,使应用程序能够更稳定地扩展,减轻云数据中心的昂贵处理负担,并帮助它们减少碳排放。

生成式人工智能有望再次改变计算。将来,您笔记本上的LLM(语言模型)可能会像今天的操作系统一样自动更新,并具有类似的功能。但要实现这一点,我们需要在网络边缘实现生成式人工智能处理。其结果将带来更高的性能、能源效率以及更好的隐私和安全性。所有这些将导致生成式人工智能本身一样改变世界的AI应用。