剛剛，英偉達(dá)發(fā)布史上最強(qiáng)芯片！
2023-11-14 11:12:31 EETOP
H200 GPU 或許是這場(chǎng)秀的真正主角。Nvidia 沒(méi)有提供所有規(guī)格的詳細(xì)明細(xì)，但主要的一點(diǎn)似乎是每個(gè) GPU 的內(nèi)存容量和帶寬大幅增加。
更新后的 H200 配備了總?cè)萘繛?141GB 的 HBM3e 內(nèi)存，有效運(yùn)行速度約為 6.25 Gbps，六個(gè) HBM3e 堆棧中每個(gè) GPU 的總帶寬為 4.8 TB/s。這比原來(lái)的 H100 有了巨大的改進(jìn)，原來(lái)的 H100 有 80GB 的 HBM3 和 3.35 TB/s 的帶寬。H100 的某些配置確實(shí)提供了更多的內(nèi)存，比如 H100 NVL，它將兩塊板子配對(duì)使用，總共提供了 188GB 內(nèi)存（每個(gè) GPU 94GB），但與 H100 SXM 變體相比，新的 H200 SXM 內(nèi)存容量增加了 76%，帶寬增加了 43%。
當(dāng)然，這次英偉達(dá)不僅僅是宣布發(fā)布了更新的 H200 GPU。還有一種新的 GH200 也即將面世，它將 H200 GPU 與 Grace CPU 結(jié)合在一起的"超級(jí)芯片 "。每個(gè) GH200將包含 624GB 內(nèi)存。最初的 GH100 將 CPU 的 480GB LPDDR5x 內(nèi)存與 96GB HBM3 內(nèi)存結(jié)合在一起，而新版本則增加到了144GB HBM3e。
同樣，關(guān)于 CPU 方面是否有其他變化的細(xì)節(jié)也不多，但 Nvidia 提供了 GH200 與 "現(xiàn)代雙插槽 x86 "配置的一些比較，其中提到了與 "非加速系統(tǒng) "相比的速度提升。
這意味著什么？我們只能假設(shè) x86 服務(wù)器運(yùn)行的代碼沒(méi)有經(jīng)過(guò)完全優(yōu)化，特別是考慮到人工智能世界發(fā)展迅速，優(yōu)化方面似乎經(jīng)常有新進(jìn)展。
GH200 還將用于新的 HGX H200 系統(tǒng)。據(jù)說(shuō)，這些系統(tǒng)與現(xiàn)有的 HGX H100 系統(tǒng) "無(wú)縫兼容"，這意味著 HGX H200 可以在相同的設(shè)備中使用，以提高性能和內(nèi)存容量，而無(wú)需重新設(shè)計(jì)基礎(chǔ)設(shè)施。
瑞士國(guó)家超級(jí)計(jì)算中心（Swiss National Supercomputing Center）的阿爾卑斯超級(jí)計(jì)算機(jī)（Alps supercomputer）很可能是明年投入使用的首批Grace Hopper超級(jí)計(jì)算機(jī)之一，不過(guò)該系統(tǒng)仍然使用 GH100。美國(guó)第一臺(tái)投入使用的 GH200 系統(tǒng)將是洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的 Venado 超級(jí)計(jì)算機(jī)。今天宣布的德克薩斯高級(jí)計(jì)算中心（TACC）Vista 系統(tǒng)也將使用格雷斯 CPU 和格雷斯 Hopper 超級(jí)芯片，但尚不清楚是 H100 還是 H200。
據(jù)目前所知，即將安裝的最大的超級(jí)計(jì)算機(jī)是 "胡安里奇 "超級(jí)計(jì)算中心（ J?lich Supercomputing Centre）的Jupiter超級(jí)計(jì)算機(jī)。它將容納 "近 "24,000個(gè)GH200超級(jí)芯片，合計(jì)93 exaflops的人工智能計(jì)算能力（推測(cè)這是使用FP8的數(shù)字，盡管根據(jù)我們的經(jīng)驗(yàn)，大多數(shù)人工智能仍然使用BF16或FP16）。它還將提供 1 exaflop 的傳統(tǒng) FP64 計(jì)算能力。它使用的 "quad GH200 "板具有四個(gè) GH200 超級(jí)芯片。
總而言之，Nvidia 預(yù)計(jì)在未來(lái)一年左右的時(shí)間里，這些新安裝的超級(jí)計(jì)算機(jī)將提供超過(guò) 200 exaflops 的人工智能計(jì)算性能。
EETOP 官方微信
創(chuàng)芯大講堂 在線教育
半導(dǎo)體創(chuàng)芯網(wǎng) 快訊
相關(guān)文章
