剛剛，英偉達發布史上最強芯片！
2023-11-14 11:12:31 EETOP
H200 GPU 或許是這場秀的真正主角。Nvidia 沒有提供所有規格的詳細明細，但主要的一點似乎是每個 GPU 的內存容量和帶寬大幅增加。
更新后的 H200 配備了總容量為 141GB 的 HBM3e 內存，有效運行速度約為 6.25 Gbps，六個 HBM3e 堆棧中每個 GPU 的總帶寬為 4.8 TB/s。這比原來的 H100 有了巨大的改進，原來的 H100 有 80GB 的 HBM3 和 3.35 TB/s 的帶寬。H100 的某些配置確實提供了更多的內存，比如 H100 NVL，它將兩塊板子配對使用，總共提供了 188GB 內存（每個 GPU 94GB），但與 H100 SXM 變體相比，新的 H200 SXM 內存容量增加了 76%，帶寬增加了 43%。
當然，這次英偉達不僅僅是宣布發布了更新的 H200 GPU。還有一種新的 GH200 也即將面世，它將 H200 GPU 與 Grace CPU 結合在一起的"超級芯片 "。每個 GH200將包含 624GB 內存。最初的 GH100 將 CPU 的 480GB LPDDR5x 內存與 96GB HBM3 內存結合在一起，而新版本則增加到了144GB HBM3e。
同樣，關于 CPU 方面是否有其他變化的細節也不多，但 Nvidia 提供了 GH200 與 "現代雙插槽 x86 "配置的一些比較，其中提到了與 "非加速系統 "相比的速度提升。
這意味著什么？我們只能假設 x86 服務器運行的代碼沒有經過完全優化，特別是考慮到人工智能世界發展迅速，優化方面似乎經常有新進展。
GH200 還將用于新的 HGX H200 系統。據說，這些系統與現有的 HGX H100 系統 "無縫兼容"，這意味著 HGX H200 可以在相同的設備中使用，以提高性能和內存容量，而無需重新設計基礎設施。
瑞士國家超級計算中心（Swiss National Supercomputing Center）的阿爾卑斯超級計算機（Alps supercomputer）很可能是明年投入使用的首批Grace Hopper超級計算機之一，不過該系統仍然使用 GH100。美國第一臺投入使用的 GH200 系統將是洛斯阿拉莫斯國家實驗室的 Venado 超級計算機。今天宣布的德克薩斯高級計算中心（TACC）Vista 系統也將使用格雷斯 CPU 和格雷斯 Hopper 超級芯片，但尚不清楚是 H100 還是 H200。
據目前所知，即將安裝的最大的超級計算機是 "胡安里奇 "超級計算中心（ J?lich Supercomputing Centre）的Jupiter超級計算機。它將容納 "近 "24,000個GH200超級芯片，合計93 exaflops的人工智能計算能力（推測這是使用FP8的數字，盡管根據我們的經驗，大多數人工智能仍然使用BF16或FP16）。它還將提供 1 exaflop 的傳統 FP64 計算能力。它使用的 "quad GH200 "板具有四個 GH200 超級芯片。
總而言之，Nvidia 預計在未來一年左右的時間里，這些新安裝的超級計算機將提供超過 200 exaflops 的人工智能計算性能。
