平衡创新与可持续性：解读生成人工智能的环境影响

平衡创新与可持续性：探索人工智能对环境的影响

深入研究语言模型的碳足迹和可持续解决方案。

法国协会Data for Good发布了一份探讨生成AI所涉及的社会和环境问题的白皮书。我对语言模型的环境影响特别感兴趣，这方面的报道较少，而伦理方面却饱受关注。以下是我所学到的关键点：

简洁版

• 背景：世界领袖承诺到2050年将温室气体排放量减少到2°C以下。这意味着在2020年至2030年之间减少43%的排放量（为了将升温限制在1.5°C，请参阅IPCC报告中的C.1.1节）。然而，在数字空间中，排放量并没有减少，而是每年增加2%至7%。
• GPT-3的训练导致了2200吨CO2等效排放量，相当于从巴黎到纽约的1600次往返飞行。
• 拥有1300万用户，ChatGPT的月度使用量相当于1万吨CO2。如果每个人今天都使用它，那将占到法国/英国个人年碳足迹的0.1%，并占到我们2050年目标碳足迹的0.5%。
• 依赖于GPT-4的ChatGPT+的影响可能增加10到100倍，将我们当前年度碳足迹的增加量达到10%，或者占到我们目标碳足迹的50%。
• 有多种方法可以减少使用这类模型的影响：合理使用它们，并选择环境性能良好的云服务。

背景

为了评估任何事物的环境影响，我们可以估算其碳足迹：它衡量个人、组织或产品直接和间接引起的温室气体排放总量，以二氧化碳（CO2e）吨的等效值表示。为了让您有个大致了解，平均年碳足迹在英国或法国每人约为8-13吨，美国为21吨，全球为6吨。我将以10吨作为我们当前的碳足迹。

以下是一些例子（带有来源）：

• 从巴黎到纽约的往返飞行相当于1.4吨CO2e。航空业是英国公民年平均碳足迹的10%（英国年航空排放量约为8000万吨CO2，大约等于英国年温室气体排放总量7700万吨的10%）。
• 每天观看3小时的视频相当于：（0.4千瓦时 *
  2. * 3小时 * 0.26千克CO2eq/千瓦时 * 365天 = 228千克CO2eq每年，或大致占英国公民平均年碳足迹的2%。根据以下假设和我简单的计算：在线视频30分钟的能源消耗 = 0.4千瓦时每个人每天的视频流量 = 3小时英国的碳排放强度 = 0.26千克CO2eq/千瓦时

为了将全球温度上升控制在2摄氏度以下，我们应该在2050年之前将全球人均碳排放减少到2吨。我们还有很多工作要做，以减少80%或90%的排放量，而数字服务的不断增长需求超过了效率改进，这并没有帮助。生成式人工智能如何融入这个方程，我们可以采取什么措施来使数字进步与我们的环境目标保持一致？

• 谷歌云致力于为生成式人工智能赔偿提供客户保护
• 智能绿化：使应用程序更可持续的七个策略
• 来自阿姆斯特丹大学和高通人工智能研究团队的研究员们开发了一种名为VeRA的创新微调人工智能方法，与LoRA相比，可以将可训练参数的数量减少10倍

培训影响：

在训练阶段，我们提供一些精选数据来喂养语言模型，以便它们能够学习并能够回答我们的请求。

该研究分析了两个大型语言模型：1.开源Bloom2.专有的OpenAI GPT-3

主要发现：- Bloom的碳足迹：最初估计为30吨，在全面分析后修订为120吨；- GPT-3的碳足迹：推算为2200吨，相当于从巴黎飞纽约的1600次往返航班。

普遍观点认为，由于这些模型受到许多用户广泛使用，它们具有高昂的培训成本是可以接受的。

推理影响

在机器学习中，推理是指使用训练好的模型对实时数据进行预测。现在我们正在研究运行ChatGPT的影响。

基于Chatgpt拥有1300万活跃用户，平均每个用户发出15个请求的假设，每月的碳足迹为1万吨二氧化碳。对我来说，关键的一点是这个足迹远大于培训的影响。

对于一个用户而言，年度碳足迹的增加是12个月*1万吨 / 1300万用户 = 每个用户每年9千克的二氧化碳当量，相当于当前平均年度碳足迹的0.1%，或目标碳足迹的0.5%。

但是如果一个人使用ChatGPT与GPT-4呢？GPT-4的碳足迹比GPT-3大10到100倍。这个足迹相当于100千克到1吨额外的二氧化碳，占一个法国公民碳足迹的10%，如果你正在尽力减少碳足迹，那么这个比例会翻倍。如果我们考虑到2050年的目标碳足迹，这个数字将达到50%！这太糟糕了。

而且，如果将来你与生活中的任何应用程序进行的每一次交互都向语言模型发出请求，这是一种令人恐慌的想法。

好消息是，广泛使用gpt4 API是非常昂贵的，除非我们的用户愿意支付每月超过100美元的订阅费用，否则我们不会让用户每天发出15个请求。我的目标市场是构建一个个人助理冥想应用程序，他们不愿意支付这个费用。而且不仅仅是小企业无法负担得起这个费用：谷歌和微软也无法用GPT4这样大小的模型取代他们的搜索引擎，因为这将使他们的查询成本增加100倍。

建议

以下是一些建议：

• 保持清醒：用ChatGPT-4全面替代整个IT项目可能很诱人，但我们可以质疑项目的实用性，真正需要使用语言模型的必要性，并将其仅限于确实需要的特定情况。例如，尽可能使用比GPT-4小得多的模型。在使用ChatGPT+之前三思。
• 优化训练和使用：在这一点上，技术众多，不断发展，数据科学家应该已经使用它们来降低成本。这些技术主要包括减少基础设施使用，从而减少电力消耗，进而减少碳排放。本质上，只有在必要时才训练模型；如果我们确实需要训练，我们会计划以避免浪费资源的方式进行。并且我们使用最小的满足需求的模型。
• 选择能源碳足迹更小的国家作为托管服务器的首选国家。法国的能源碳足迹是美国的1/7。然而，假如你们都开始在这里托管语言模型，很可能我们将从我们亲爱的邻居那里进口煤能源🔥。
• 根据环境性能选择顶级云服务（此类数据有时是公开的；否则有一些工具可用于测量/估算，如https://mlco2.github.io/impact/）。偏好使用长时间运行的云服务（然而超大规模的扩展方案倾向于只保留不超过4年的硬件），以及具有高水平共享的数据中心。

你有兴趣减少你的影响力吗？

无论你是个人还是公司，都可以获得资源和专家的指导，引导你走向可持续的道路。

在个人层面：

• 如果你想评估你的碳足迹，有许多在线工具可用。就个人而言，衡量我的碳足迹让我眼界大开，促使我探索有助于产生积极影响的方法。如果你生活在英国，可以查看https://footprint.wwf.org.uk/
• 想要快速了解气候变化背后的基础科学知识：参加一个持续三小时的课程：https://climatefresk.org/
• 了解自己可以采取的行动并估算这些行动将会减少多少碳足迹的工作坊：参加另一个持续三小时的工作坊：https://en.2tonnes.org/

在企业层面：许多公司正在探索这些问题，以下是一些可以采取的措施：

• 教育员工（参与上述推荐的工作坊）
• 进行审计，评估并测量碳足迹
• 制定改善ESG（环境、社会和公司治理）评分的策略

我是通过一些我最近认识的一些出色的人，来自Toovalu和Wavestone，才听说了这个精彩的研究。查看一下他们都在做什么吧！

如果你发现我的估计中有任何错误，或者想要添加你的想法，如果你觉得有趣，请留下评论并分享。

🙌 感谢你花时间阅读这篇文章，希望对你有启发！非常感谢Thibaut、Léo、Benoit和Diane对本文的宝贵反馈和补充🙏。

如果你想要了解关于生成式人工智能和负责任的机器学习的最新资讯，可以在Linkedin上关注我👋。