新的NVIDIA H100、H200 Tensor Core GPU实例即将在Microsoft Azure上推出,加速AI工作负载

全新的NVIDIA H100、H200 Tensor Core GPU 实例即将登陆 Microsoft Azure,助力 AI 工作负载加速

当NVIDIA继续与微软合作构建先进的AI基础设施时,微软正在将基于H100的虚拟机引入Microsoft Azure,以加速对要求较高的AI工作负载。

在今天在西雅图举行的Ignite大会上,微软宣布了适用于Azure的全新NC H100 v5 VM系列,这是业界首款配备NVIDIA H100 NVL GPU的云实例。

这项产品将通过NVIDIA NVLink连接的一对基于PCIe的H100 GPU相结合,具备近4个拍夫级的AI计算能力和188GB更快的HBM3内存。NVIDIA H100 NVL GPU在GPT-3 175B模型上的性能可提高到上一代的12倍,非常适合推理和主流训练工作负载。

此外,微软还宣布计划于明年将NVIDIA H200 Tensor Core GPU添加到Azure机群中,以支持更大的模型推理,而不会增加延迟。这款全新产品专为加速最大规模的AI工作负载而设计,包括LLMs生成式AI模型。

H200 GPU通过采用最新一代的HBM3e内存,dramatic增加了内存容量和带宽。与H100相比,这款新GPU将提供141GB的HBM3e内存(增加了1.8倍)和4.8TB/s的峰值内存带宽(增加了1.4倍)。

云计算保密性更强

为Azure用户进一步扩大基于NVIDIA加速的生成式AI计算的可用性,微软宣布了另一款NVIDIA驱动的实例:NCC H100 v5。

这些具备NVIDIA H100 Tensor Core GPU的Azure保密VM允许客户保护其数据和应用在使用过程中和内存中的机密性和完整性,同时获得H100 GPU的卓越加速能力。这些增强型GPU保密VM即将进入私人预览。

要了解有关具备NVIDIA H100 Tensor Core GPU的新保密VM以及注册预览的更多信息,请阅读博客。

了解有关NVIDIA驱动的Azure实例的更多信息,请访问GPU VM详细信息页面