绿色人工智能:改善人工智能可持续性的方法和解决方案
技术视角下的长期待定话题
介绍
如果您打开了这篇文章,您可能已经听说过关于当前大型语言模型(LLM)的安全性和可信度的争议。由Steve Wozniak、Gary Marcus和Stuart Russel等计算机科学界知名人士签署的公开信提出了他们对此事的关注,并要求停止LLM的训练6个月。但是还有另一个话题正在悄悄引起很多关注,可能会在不久的将来激励另一封公开信:人工智能模型的能源消耗和碳足迹。
据估计,仅流行的GPT-3模型(一个1750亿参数的LLM)的训练就排放了大约502吨二氧化碳[1]。甚至有在线计算器可用于估算训练特定模型的排放量。但是训练步骤不是唯一消耗能源的步骤。在训练之后,在推理阶段,一个人工智能模型每天执行数千万次或数百万次。即使每次执行消耗的能量很小,但在几周、几个月和几年的累积消耗可能成为一个巨大的问题。
这就是为什么“绿色人工智能”的概念越来越受到关注的原因。它的主要重点是寻找解决方案和开发技术,以提高人工智能的可持续性,减少其能源消耗和碳足迹。在本文中,我旨在概述一些积极研究的技术和方法,这些技术和方法可以用于改进这个概念,并且通常不以易于理解的方式进行讨论。在本文的结尾,您将找到与讨论主题相关的资源和参考资料。
尽管本文重点关注在部署人工智能算法时实现节能的技术方法,但即使您不是研究人员,了解这些技术方法的基本概念也很重要。您是负责公司人工智能算法训练的人吗?那么,在训练期间,您可以记住一些优化措施,以改善算法在部署后的能源消耗。您可能是负责的人…