采用 AMD 技术并配备 Instinct MI250X GPU 的 Frontier 超级计算机已实现 1 万亿参数 LLM 运行，可与 ChatGPT-4 相媲美。

得益于 AMD EPYC CPU 和 Instinct GPU，Frontier 超级计算机在 LLM 培训领域创造了新记录

Frontier 超级计算机是世界领先的超级计算机，也是目前唯一正在运行的百亿亿次计算机。该机器由 AMD 的 EPYC 和 Instinct 硬件提供支持，不仅提供顶级的 HPC 性能，而且还是地球上第二高效的超级计算机。个人在Arxiv上提交的一份报告显示，Frontier超级计算机已经达到了通过“超参数调优”训练万亿参数的能力，树立了新的行业标杆。

在深入讨论关键问题之前，让我们快速回顾一下 Frontier 超级计算机的功能。ORNL 的超级计算机采用 AMD 第三代 EPYC Trento CPU 和 Instinct MI250X GPU 加速器从头开始设计。它安装在美国田纳西州橡树岭国家实验室 (ORNL)，由能源部 (DOE) 运营。目前，它使用 8,699,904 个内核实现了 1.194 Exaflop/s。HPE Cray EX 架构结合了针对 HPC 和 AI 优化的第三代 AMD EPYC CPU、AMD Instinct 250X 加速器和 Slingshot-11 互连。Frontier能够在Top500.org超级计算机排行榜上保持第一名，可见其统治力。

Frontier 取得的新记录是实施有效策略来培训法学硕士并最有效地使用机载硬件的结果。团队通过对220亿、1750亿、1万亿个参数的广泛测试，取得了显着的成果，这些数据是对模型训练过程进行优化和微调的结果。这一成果是通过使用多达 3,000 个 AMD MI250X AI 加速器来实现的，尽管它是一种相对过时的硬件，但仍显示出其强大功能。