GPT-4的碳足迹
GPT-4碳足迹
最近泄露的数据首次允许我们估计从训练OpenAI的GPT-4产生的碳排放量
最近的新闻提醒我们，全球平均温度持续上升[1]，重要的是提醒自己，大多数人类活动都有造成全球变暖和其他气候变化的碳足迹，数字技术和特别是人工智能也不例外。本文旨在通过估计训练OpenAI的大型语言模型GPT-4的碳排放量来提醒大家。
要进行这样的估计，我们需要知道：
- 训练GPT-4使用了多少电力
- 电力的碳强度，即每1千瓦时电力产生的碳排放量
让我们开始吧。
使用我的推荐链接加入VoAGI – Kasper Groes Albin Ludvigsen
作为VoAGI会员，您会员费的一部分将捐赠给您阅读的作家，并且您将获得对每个故事的完全访问权限…
kaspergroesludvigsen.medium.com
GPT-4的电力消耗
让我们首先估计GPT-4的能源消耗。根据未经验证的信息泄露，GPT-4使用了约25,000个Nvidia A100 GPU进行了90-100天的训练[2]。
我们假设这些GPU被安装在能够容纳8个GPU的Nvidia HGX服务器中，这意味着需要25,000 / 8 = 3,125台服务器。
要根据这些信息计算电力消耗，我们需要知道Nvidia HGX服务器的热设计功率（TDP）。
不幸的是，Nvidia没有披露这些信息，所以我们将使用类似的Nvidia DGX服务器的TDP，即6.5千瓦[3]。因此，如果Nvidia DGX服务器以满功率运行1小时，它将消耗6.5千瓦时。
请记住，估计训练GPT-4需要90-100天。这意味着每台服务器每天需要2,160至2,600个小时。将其乘以6.5千瓦，我们得出在训练期间，每台服务器可能消耗了14,040至16,900千瓦时的电力。
