Oracle云基础设施提供新的NVIDIA GPU加速计算实例
Oracle云提供新的NVIDIA GPU加速计算实例
随着生成式人工智能和大型语言模型（LLMs）推动着突破性创新，用于训练和推理的计算需求也在飙升。
这些现代生成式人工智能应用需要全栈加速计算，从能够以速度和准确性处理大规模工作负载的先进基础设施开始。为了满足这种需求，Oracle Cloud Infrastructure今天宣布在OCI Compute上推出了NVIDIA H100 Tensor Core GPU，NVIDIA L40S GPU即将推出。
OCI上的NVIDIA H100 Tensor Core GPU实例
搭载NVIDIA H100 GPU的OCI Compute裸金属实例，由NVIDIA Hopper架构驱动，为大规模人工智能和高性能计算提供了数量级的飞跃，具有前所未有的性能、可扩展性和适用于各种工作负载的多功能性。
使用NVIDIA H100 GPU的组织可以获得高达30倍的人工智能推理性能增长和4倍的人工智能训练加速，相比于使用NVIDIA A100 Tensor Core GPU。H100 GPU专为资源密集型计算任务设计，包括训练LLMs和同时运行它们的推理。
BM.GPU.H100.8 OCI Compute类型包含8个NVIDIA H100 GPU，每个GPU配备80GB的HBM2 GPU内存。在这8个GPU之间，32TB/s的双向带宽使得每个GPU可以通过NVIDIA NVSwitch和NVLink 4.0技术直接与其他7个GPU通信。该类型还包括16个本地NVMe驱动器，每个驱动器容量为3.84TB，并且还包括具有112个核心的第四代Intel Xeon CPU处理器以及2TB的系统内存。
简而言之，这种类型针对组织中最具挑战性的工作负载进行了优化。
根据时间表和工作负载的大小，OCI Supercluster允许组织将其NVIDIA H100 GPU的使用量从单个节点扩展到高性能、超低延迟网络上的数万个H100 GPU。
OCI上的NVIDIA L40S GPU实例
基于NVIDIA Ada Lovelace架构的NVIDIA L40S GPU是数据中心的通用GPU，为LLM推理和训练、可视化计算和视频应用提供了突破性的多工作负载加速。OCI Compute裸金属实例搭载NVIDIA L40S GPU将在今年晚些时候提供早期访问，2024年初提供一般可用性。
这些实例将为解决小到中型人工智能工作负载以及图形和视频计算任务提供一个替代方案，NVIDIA L40S GPU在生成式人工智能工作负载方面的性能提升高达20%，在微调人工智能模型方面的性能提升高达70%，相比于NVIDIA A100。
BM.GPU.L40S.4 OCI Compute类型包含4个NVIDIA L40S GPU，以及最新一代的Intel Xeon CPU，最多112个核心，1TB的系统内存，15.36TB的低延迟NVMe本地存储用于缓存数据，以及400GB/s的集群网络带宽。该实例被创建用于应对各种用例，包括LLM训练、微调和推理、NVIDIA Omniverse工作负载、工业数字化、3D图形和渲染、视频转码和FP32 HPC等。
NVIDIA和OCI：企业级人工智能
OCI和NVIDIA之间的合作将使各种规模的组织能够通过提供先进的NVIDIA H100和L40S GPU加速基础设施来加入生成式人工智能革命。
然而，仅仅拥有NVIDIA GPU加速实例可能还不够。在OCI Compute上充分发挥NVIDIA GPU潜力意味着拥有一个最佳的软件层。NVIDIA AI Enterprise通过针对底层NVIDIA GPU基础设施进行优化的开源容器和框架，简化了企业级加速人工智能软件的开发和部署，同时提供支持服务。
要了解更多信息，请参加NVIDIA在Oracle Cloud World的AI展区活动，参加9月20日星期三关于新的OCI实例的会议，并访问有关Oracle Cloud Infrastructure、OCI Compute、Oracle的人工智能方法以及NVIDIA AI平台的网页。
