AMD宣布正式推出旗舰AI GPU加速器MI300X，性能比NVIDIA H100提升高达60%。

AMD 终于拥有在 AI 领域对抗 NVIDIA 的 GPU，MI300X 比 H100 快 60%

AMD Instinct MI300 级 AI 加速器将成为另一个小芯片动力源，利用台积电的先进封装技术。今天，AMD 不仅宣布推出这些芯片，还分享了 MI300X 的首个性能基准测试，看起来非常棒。AMD 首先使用一般规格作为比较，并使用其 CDNA 3 加速器提供的功能(与 NVIDIA H100 相比)：

内存容量提高 2.4 倍

内存带宽提高 1.6 倍

1.3 倍 FP8 TFLOPS

1.3 倍 FP16 TFLOPS

在 1v1 比较中，速度比 H100 (Llama 2 70B) 快达 20%

在 1v1 比较中，速度比 H100 (FlashAttention 2) 快达 20%

8v8 服务器中的速度比 H100 (Llama 2 70B) 快达 40%

在 8v8 服务器中，速度比 H100 (Bloom 176B) 快达 60%

在一般 LLM 内核 TFLOP 中，MI300X 在 FlashAttention-2 和 Llama 2 70B 中提供高达 20% 的性能提升。从平台角度来看，将 8x MI300X 解决方案与 8X H100 解决方案进行比较，我们发现 Llama 2 70B 获得了更大的 40% 增益，而 Bloom 176B 则获得了 60% 的增益。