NVIDIA发布面向AI和HPC工作负载的H200 Tensor Core GPU
NVIDIA发布面向AI和HPC工作负载的H200 Tensor Core GPU，助力未来科技变革
上周，NVIDIA推出了H200 Tensor Core GPU。该GPU希望成为世界上设计用于加速人工智能和高性能计算（HPC）工作负载的最强大GPU。
H200基于NVIDIA Hopper架构，该GPU采用了HBM3e，提供了令人惊叹的141千字节的内存，速度达到4.8太字节每秒。这几乎是其前身NVIDIA H100 Tensor Core GPU的两倍容量，并且内存带宽增加了1.4倍。
我们可以看到，这是内存大小和速度的显著增加，能加速生成式人工智能和大型语言模型，并提升科学计算的HPC工作负载。例如，在Llama2 70B的推理中，速度提高了1.9倍，而GPT-3 175B的推理速度提高了1.6倍。
内存带宽在HPC应用中起着至关重要的作用，可实现更快的数据传输并减少处理瓶颈。对于模拟、科学研究和人工智能等内存密集型任务，H200相比传统CPU的成果时间显著缩短了110倍。
与前身H100 GPU相比，H200还将推理速度提高了最多2倍，特别是在处理复杂的LLM（如Llama2）时。可以说，H200在保持能效的同时，也保持了与H100相同的功耗水平。
这有助于公司保持和遵循环保的实践。随着越来越多的公司转向生成式人工智能，能源消耗已成为一个日益重要的问题，而NVIDIA似乎在设计H200时就考虑到了这一点。
NVIDIA希望通过引入H200，为GPU的能力设定新的标准。随着人工智能和科学研究界继续依赖AI输出来进行尖端研究，这变得越来越重要。
在过去几年里，越来越多的研究团队依靠模型的力量来寻找蛋白质组合和检测帕金森病。这将如何影响整个GPU市场还不得而知。
