“搭建GPU机器 vs 使用GPU云”
GPU机器搭建与云GPU使用：哪个更适合你？
图形处理单元（GPU）的出现以及其带来的指数级计算能力，对初创企业和企业业务来说都是一个重要时刻。
GPU提供了令人印象深刻的计算能力，可以执行涉及人工智能、机器学习和3D渲染等技术的复杂任务。
然而，当涉及到利用这种丰富的计算能力时，技术界面临了一个十字路口，即应该建造专用的GPU机器还是利用GPU云？
本文深入探讨了这场辩论的核心，分析了每个选项的成本影响、性能指标和可扩展性因素。
什么是GPU？
GPU（图形处理单元）是设计用于通过快速完成数学计算来迅速渲染图形和图像的计算机芯片。从历史上看，GPU通常与个人游戏电脑相关联，但它们也被用于专业计算，因为技术进步需要更多的计算能力。
最初开发GPU的目的是减轻CPU承担的工作量，以渲染2D和3D图形，使用并行处理这种方法来处理多个处理器处理单个任务的不同部分。
在商业领域，这种方法可以加速工作负载，并提供足够的处理能力，以支持人工智能（AI）和机器学习（ML）建模等项目。
GPU的使用案例
近年来，GPU已经发展得比早期的版本更具可编程性，使其可以在广泛的用例中使用，例如：
- 使用诸如Blender和ZBrush等软件，快速渲染实时2D和3D图形应用程序
- 视频编辑和视频内容创作，特别是4K、8K或具有高帧率的视频片段
- 提供图形能力，以在现代显示器上显示视频游戏，包括4K
- 加速机器学习模型，从基本的图像转换为JPG到使用全功能前端自定义优化模型，只需几分钟
- 在一系列应用程序中共享CPU工作负载，以提供更高的性能
- 提供训练深度神经网络的计算资源
- 挖掘加密货币，如比特币和以太坊
专注于神经网络的发展，每个网络由节点组成，每个节点作为更广泛的分析模型的一部分执行计算。
由于更大的并行处理能力，GPU可以提升这些模型在深度学习网络中的性能，创建具有更高容错性的模型。因此，市场上现在有多款专为深度学习项目而构建的GPU，例如最近推出的H200。
建造GPU机器
许多企业，特别是初创企业，选择建造自己的GPU机器，因为它们具有成本效益，同时提供与GPU云解决方案相同的性能。然而，这并不意味着这样的项目没有挑战。
在本节中，我们将讨论建造GPU机器的优缺点，包括预期的成本和可能影响诸如安全性和可扩展性等因素的机器管理。
为什么要建造自己的GPU机器？
搭建本地GPU机器的关键优势是成本，但在没有重要的内部专业知识的情况下，这样的项目并不总是可能的。持续维护和未来修改也是可能使这种解决方案不可行的考虑因素。但是，如果您的团队有能力完成这样的构建，或者找到了一个可以为您交付项目的第三方供应商，那么您可以节省大量财务开支。
建议构建可扩展的GPU机器用于深度学习项目，特别是在考虑到云GPU服务的租赁成本时，比如Amazon Web Services EC2，Google Cloud或Microsoft Azure。虽然托管服务对于希望尽快启动项目的组织是理想的选择。
让我们考虑一下自建本地GPU机器的两个主要优势，成本和性能。
成本
如果一个组织正在为人工智能和机器学习项目开发大数据集的深度神经网络，那么运营成本有时可能飙升。这可能会妨碍开发人员在模型训练期间交付预期的结果，并限制项目的可扩展性。结果可能是一个缩小规模的产品，甚至是一个不适合目的的模型。
构建一台本地自管理的GPU机器可以帮助大大降低成本，为开发人员和数据工程师提供他们需要的资源，进行广泛的迭代，测试和实验。
然而，这只是涉及到本地构建和运行GPU机器的皮毛，特别是对于开源的LLMs，它们越来越受欢迎。随着实际用户界面的出现，您可能很快会看到您友好的邻居牙医在后屋运行几个4090s用于诸如保险验证、排班、数据交叉参照等等。
性能
广泛的深度学习和机器学习训练模型/算法需要大量资源，意味着它们需要极高性能的处理能力。对于需要渲染高质量视频的组织来说也是如此，员工需要多个基于GPU的系统或最先进的GPU服务器。
建议为生产规模的数据模型及其训练使用自建GPU供电系统，一些GPU能够提供双精度，这是一个使用64位表示数字的功能，提供更大范围的值和更好的小数精度。然而，这种功能只对依赖于非常高精度的模型才是必需的。双精度系统的推荐选项是Nvidia的本地Titan-based GPU服务器。
运维
许多组织缺乏管理本地GPU机器和服务器的专业知识和能力。这是因为一个内部IT团队需要具备配置基于GPU的基础设施以实现最高性能的专家。
此外，他缺乏专业知识可能会导致安全性不足，从而导致可能被网络犯罪分子攻击的漏洞。未来需要扩展系统也可能带来挑战。
使用GPU云
在性能和成本效益方面，本地GPU机器提供明显的优势，但前提是组织具备所需的内部专家。这就是为什么许多组织选择使用GPU云服务（例如Saturn Cloud），这些服务完全托管，简化和安心。
云GPU解决方案使更多的组织和行业能够更容易地进行深度学习项目，许多系统能够匹配自建GPU机器的性能水平。GPU云解决方案的出现是人们越来越多地投资于AI开发的主要原因之一，特别是像Mistral这样的开源模型，其开源性质专为可租赁的vRAM和在不依赖于较大提供商（如OpenAI或Anthropic）的情况下运行LLMs而设计。
成本
根据组织的需求或正在训练的模型，云GPU解决方案可能会更便宜，只要每周所需的小时数是合理的。对于规模较小、数据较少的项目来说，可能没有必要投资于昂贵的一对H100，因为云GPU解决方案可根据合同形式提供，也可提供各种月度计划，迎合从爱好者到企业的需求。
性能
有一系列CPU云选项可以达到DIY GPU机器的性能水平，提供优化平衡的处理器、准确的内存、高性能磁盘和每个实例八个GPU，以处理各个工作负载。当然，这些解决方案可能需要一定的成本，但组织可以安排按小时计费，以确保他们只支付所使用的部分。
操作
与GPU构建相比，云GPU的关键优势在于其运营，有一支专家工程师团队可帮助解决任何问题并提供技术支持。内部的GPU机器或服务器需要由内部管理，或者需要由第三方公司进行远程管理，这将增加额外的成本。
使用GPU云服务，任何问题，比如网络中断、软件更新、停电、设备故障或磁盘空间不足等，都可以迅速修复。事实上，通过完全托管的解决方案，这些问题可能根本不会发生，因为GPU服务器将被优化配置，以避免任何过载和系统故障。这意味着IT团队可以专注于业务的核心需求。
结论
选择构建GPU机器还是使用云GPU取决于使用情况，大数据密集型项目需要更高的性能而不会产生显著的成本。在这种情况下，自建系统可能提供所需的性能而不会产生高额的月费用。
或者，对于缺乏内部专业知识或不需要顶级性能的组织来说，托管的云GPU解决方案可能更可取，由提供商负责机器的管理和维护工作。
****[Nahla Davies](http://nahlawrites.com/)****是一名软件开发人员和技术作家。在全职从事技术写作之前，她曾担任一家Inc. 5,000体验品牌公司的首席程序员，该公司的客户包括三星、时代华纳、Netflix和索尼等。
