英伟达在 COMPUTEX 2023 大会上公布了 GH200 Grace Hopper,每个 GPU使用 96GB 的 HBM3,搭载的 HBM 容量继续提升。由 NVIDIA GH200 Grace Hopper 超级芯片和 NVIDIA NVLink Switch System 驱动的 NVIDIA DGX 超级计算机,旨在助力开发面向生成式 AI 语言应用、推荐系统和数据分析工作负载的巨型、下一代模型。NVIDIA DGX GH200 的超大共享内存空间通过 NVLink 互连技术以及 NVLink Switch System 使 256 个 GH200 超级芯片相连,使它们能够作为单个 GPU 运行。其提供 1 exaflop 的性能和 144 TB 的共享内存——相较2020 年推出的上一代 NVIDIA DGX A100 内存大了近 500 倍。H200 单 GPU 总共支持 576GB 的内存,其中 480GB 为 LPDDR5X,从 HBM 容量来看,A100和 H100 单 GPU 最大支持 80GB HBM 容量,H200 单 GPU 最大支持 96GB 容量的 HBM3。