一個機器學習工程團隊的碳排放量

機器學習工程團隊的碳排放量研究：影響和解決方案

真正重要的开发隐藏成本

由于人类活动导致的全球变暖，人们都意识到气候危机的存在。为了预防其灾难性后果[1]，世界需要大幅减少温室气体排放，许多国家设定了到2050年净零排放的目标。

近年来，人工智能的技术繁荣也引起了对其环境成本的担忧。如果我们只看它的直接贡献，这将通过用电来训练和供电模型来体现。例如，使用1750亿个参数来训练 ChatGPT-3 造成了高达502吨二氧化碳当量排放[tCO2e] [2]。新兴实力派 Llama2 为训练其四个模型家族生成了类似的539 tCO2e [3]。以此为背景，每个模型的排放量相当于乘客往返纽约和旧金山的航班的排放量，可以重复500次之多。

我在一个机器学习工程团队工作，这个问题也一直在持续地激励着我。我们通过电力消耗对碳排放贡献了多少？有没有减少的方式？接下来，我们将尝试自行进行碳排放核算。

方法

没有单一直接的方法来测量我们的电力消耗及其相应的碳影响，这是由于我们使用的平台和服务的多样性。我不会深入探讨技术实现，但总体上，它包括三个方法。

• ‘RAG 应用设计中的实践考虑因素’
• 发掘NLP超能力：一步一步的拥抱之面微调教程
• 揭示AI透明度：Anthropic的特征分组如何增进神经网络的可解释性

1. 提供：确切的碳排放数据已经为我们计算好。这是由我们的云服务提供商 (CSP) 提供的。
2. 工具：我们使用了几个软件工具，如 Powermetics、Nvidia-SMI 和 Turbostat，来测量电力消耗（以瓦特为单位），以跟踪笔记本电脑和本地服务器的 CPU 和 GPU 计算。
3. 自行计算：当上述方法不可行时，我们使用代理方法进行计算。这包括记录计算的持续时间，估计芯片（群）的利用率，并找到每种芯片类型的热设计功耗 (TDP) 来计算所消耗的功率。其余的平台都是通过这种方式计算的。