生成式人工智能的未来在边缘
培训师的不可或缺之处：在数字时代实现数据智能的关键
ChatGPT的出现，以及生成式人工智能（Generative AI）的普及，标志着技术史上的一个分水岭时刻，被喻为互联网和智能手机的曙光。生成式人工智能在能够进行智能对话、通过考试、生成复杂的程序/代码以及创作引人注目的图像和视频方面展示了无限的潜力。虽然GPU通常在云端运行大部分生成式人工智能模型（包括训练和推断），但这并不是长期可扩展的解决方案，特别是对于推断来说，原因包括成本、功耗、延迟、隐私和安全等因素。本文讨论了这些因素以及相关的案例，旨在将生成式人工智能的计算工作负载转移到边缘计算。
大多数应用程序运行在高性能处理器上-要么在设备上（如智能手机、台式机、笔记本电脑），要么在数据中心。随着利用人工智能的应用程序份额的扩大，仅用CPU的处理器已经不再足够。此外，生成式人工智能工作负载的迅猛增长推动了对昂贵、高耗电、需求量庞大的GPU设备进行AI加速服务器的需求，从而推高了基础设施成本。这些AI加速服务器的成本可能是普通服务器的7倍以上，其中GPU占据了80%以上的成本。
此外，基于云的服务器的功耗范围在500W到2000W之间，而AI加速服务器的功耗范围在2000W到8000W之间-相当于增加了4倍！为了支持这些服务器，数据中心需要额外的冷却模块和基础设施升级-这可能比计算投资还要高。数据中心当前每年的能耗已经达到300太瓦时，在全球总能耗中几乎占到了1%。如果AI采用的趋势继续下去，到2030年，全球数据中心的能耗可能将达到全球总能耗的5%。此外，对生成式人工智能数据中心的投资空前。据估计，到2027年，数据中心的资本支出将达到高达5000亿美元，主要是由AI基础设施需求推动。
- 语义层：AI驱动的数据体验的支撑
- 斯坦福大学、NVIDIA和德克萨斯大学奥斯汀分校的研究人员提出了跨剧集课程（CEC）：一种新的人工智能算法，可以提高转换器代理的学习效率和泛化能力
- 当涉及复杂话题时，第一步是最困难的
数据中心的电力消耗已经达到了300太瓦时，而采用生成式人工智能将进一步显著增加。
人工智能计算成本以及能源消耗将阻碍生成式人工智能的大规模应用。通过将人工智能计算迁移到边缘，并使用针对人工智能工作负载进行优化的处理解决方案，可以克服扩展挑战。采用这种方法，客户还可以获得其他好处，包括更低的延迟、隐私、可靠性以及增强的功能。
计算跟随数据走向边缘
自从十年前人工智能从学术界崭露头角以来，AI模型的训练和推断一直在云端或数据中心中进行。随着大量数据在边缘产生和消耗（尤其是视频数据），将数据的推断迁移到边缘是合乎情理的，从而提高了企业的总拥有成本（TCO），因为网络和计算成本得到了降低。虽然云端的AI推断成本是经常性的，但边缘推断的成本是一次性的硬件费用。实际上，通过在系统中增加边缘人工智能处理器，可以降低整体运营成本。就像传统人工智能工作负载迁移到边缘一样（比如在设备上进行），生成式人工智能工作负载也会步调一致。这将为企业和消费者带来巨大的节约。
将边缘计算与高效的人工智能加速器结合，可以提供其他好处。其中最重要的是延迟。例如，在游戏应用中，可以使用生成式人工智能控制和增强非玩家角色（NPC）。通过在游戏主机或个人电脑上运行LLM模型的边缘人工智能加速器，玩家可以给这些角色设定具体目标，使其能够有意义地参与故事情节。由于本地边缘推断的低延迟，NPC的语音和动作可以实时响应玩家的指令和动作，从而以经济高效的方式提供高度沉浸式的游戏体验。
在医疗保健等领域，隐私和可靠性非常重要（例如患者评估、药物推荐）。数据和相关的生成式人工智能模型必须在本地保留，以保护患者数据（隐私），任何网络故障将阻断对云端AI模型的访问，这可能具有灾难性后果。一种专为每个企业客户（在这种情况下是医疗保健提供者）定制的边缘人工智能设备运行的生成式人工智能模型可以无缝解决隐私和可靠性问题，同时在降低延迟和成本方面提供解决方案。
边缘设备上的生成AI将确保游戏的低延迟，保护患者数据并提高医疗保健的可靠性。
许多运行在云端上的通用AI模型可能接近一万亿个参数-这些模型可以有效地处理通用查询。然而，企业特定的应用程序要求模型提供与用例相关的结果。以快餐店基于Gen AI构建的助手为例-为了确保该系统与顾客的互动无缝进行，底层Gen AI模型必须接受培训并熟悉餐厅的菜单，还需要了解过敏原和成分。可以通过使用超级大型语言模型（LLM）来训练相对较小的、具有100-300亿参数的LLM，然后使用用户特定数据进行附加微调来优化模型大小。这样的模型可以以更高的准确性和能力提供结果。鉴于模型更小，可以有效地部署在边缘的AI加速器上。
Gen AI将在边缘获胜
云端将始终需要运行通用应用程序的Gen AI，例如ChatGPT和Claude。但是，对于特定于企业的应用程序，例如Adobe Photoshop的生成填充或Github的编助手，边缘的生成AI不仅是未来，也是现在。定制化的AI加速器是实现这一目标的关键。
