99精品在线观看-99精品在线免费观看-99精品在线视频观看-99精品这里只有精品高清视频-99九九精品国产高清自在线

x

內(nèi)核數(shù)量比全球第一E級超算多1.6倍!世界最大芯片打造最強AI超級計算機!

2022-11-18 12:45:10 EETOP
點擊關(guān)注->創(chuàng)芯網(wǎng)公眾號,后臺告知EETOP論壇用戶名,獎勵200信元

EETOP版圖就業(yè)&提升班正式開班報名!


集成2.6萬億晶體管、一張晶圓只做一顆芯片世界上最大的芯片CS-2 Wafer Scale Engine背后的公司Cerebras 最近推出了基于CS-2 + 第三代 AMD EPYC 處理器的Andromeda (仙女座)超級計算機,
專門針對深度學(xué)習(xí)應(yīng)用進(jìn)行了優(yōu)化。Andromeda 據(jù)稱擁有比 1,953 個 NVIDIA A100 GPU 更多的內(nèi)核,也擁有比世界排名第一的超算Frontier 超級計算機多 1.6倍的內(nèi)核。Frontier 全球首臺真正意義上達(dá)到ExaFLOP級別(百億億次)的超級計算機)

該公司正試圖消除通用計算平臺的常見挑戰(zhàn),例如在分布式GPI集群上實施培訓(xùn)所需的額外開銷。有些分布式系統(tǒng)的3D配置對工程師來說很復(fù)雜的。

圖片

分布式通用 GPU 中的 3D 并行性。 

Cerebras 最近發(fā)布了其Andromeda超級計算機,包括一個 AI 應(yīng)用特定的硬件架構(gòu),可以在多個 GPT 語言模型上提供線性擴展訓(xùn)練;簡而言之,訓(xùn)練時間隨著所涉及的計算核心數(shù)量的增加而線性減少。這與計算單元與訓(xùn)練時間之間具有亞線性關(guān)系的通用 GPU 集群不同。

Cerebras 聲稱,由于內(nèi)存和帶寬限制,類似的工作不可能在 2,000 個NVIDIA A100 GPU 的集群上進(jìn)行。

Andromeda 超級計算機的主要規(guī)格

Andromeda 建立在 Cerebras 的 CS-2 系統(tǒng)之上,包括總共1350萬個 AI 優(yōu)化計算核心和18,178 個第三代 AMD EPYC 處理器

圖片


圖片

據(jù)報道,Andromeda 可提供跨 GPT 語言模型的近線性縮放

該超級計算機還采用晶圓級集群和權(quán)重流,由 Cerebras 的 MemoryX 和 SwarmX 技術(shù)提供支持。Andromeda 產(chǎn)生 1 exaflop 的 AI 計算和 120 petaflops 的密集計算,具有 16 位半精度。

CS-2系統(tǒng)

Andromeda 擁有 16 個 CS-2 系統(tǒng),每個系統(tǒng)都配備了 Cerebras 的Wafer-Scale Engine 2 (WSE-2) 處理器——一個 46,225 mm 2處理器和 2.6萬億個 7nm 晶體管。據(jù)報道,WSE-2 是“地球上最大的處理器”。配套的軟件平臺集成了 PyTorch 和TensorFlow,開箱即用。

圖片

Cerebras CS-2

以下是 CS-2 的其他一些規(guī)格:

  • 850,000 個 AI 優(yōu)化計算核心
  • 40 GB 集成SRAM
  • 20 PB/s 內(nèi)存帶寬
  • 220 PB/s 互連帶寬
  • 1.2 TB/秒輸入/輸出
  • 12 個 100 GB 以太網(wǎng)鏈路
  • 15 個機架單元(RU)
  • 水冷
晶圓級集群

晶圓級集群通過在單個處理器中安裝包括計算組件和參數(shù)組件的整個神經(jīng)網(wǎng)絡(luò)來充分利用 WSE-2 的大小。晶圓級集群還利用了數(shù)據(jù)并行性。分配簇數(shù)就像設(shè)置參數(shù)一樣簡單明了。

圖片

這消除了在分布式系統(tǒng)上計劃和配置訓(xùn)練模型的需要,這可能是復(fù)雜、緩慢且耗電的。此外,由于 AI 計算是在單個設(shè)備上完成的,因此訓(xùn)練速度更快。

權(quán)重流

Cerebras 的MemoryX 和 StreamX 技術(shù)支持權(quán)重流。MemoryX 管理片外模型權(quán)重的存儲,包括將權(quán)重流式傳輸回處理器模型、計算更新的權(quán)重以及計時交付。MemoryX 可以支持 2000 億到 120 萬億個參數(shù),并聲稱速度與片上一樣快。

圖片

CS-2 集群的權(quán)重流

SwarmX 是存在于 MemoryX 和 CS-2 系統(tǒng)之間的另一種支持技術(shù)。它將權(quán)重分配給 CS-2 系統(tǒng)并將生成的梯度提供回 MemoryX。這兩種技術(shù)共同實現(xiàn)了訓(xùn)練過程中的重量流。

研究人員利用 Andromeda 的超級計算

Cerebras 已為多家研發(fā)和學(xué)術(shù)機構(gòu)提供了 Andromeda 的各種應(yīng)用訪問權(quán)限。 

阿貢國家實驗室使用 GPT3-XL 模型和整個 COVID-19 基因組,利用 Andromeda 開發(fā)了基因轉(zhuǎn)換器。與此同時,JasperAI 正在使用Andromeda 訓(xùn)練模型,這些模型將用于為廣告、營銷和書籍等書面材料撰寫文案。 

Andromeda 托管在加利福尼亞州的 Colovore 數(shù)據(jù)中心,Cerebras現(xiàn)在可以訪問更多潛在客戶。


關(guān)鍵詞: 芯片 AI 半導(dǎo)體

  • EETOP 官方微信

  • 創(chuàng)芯大講堂 在線教育

  • 半導(dǎo)體創(chuàng)芯網(wǎng) 快訊

全部評論

主站蜘蛛池模板: 成人春色在线观看免费网站| 91porn国产| 日产欧美亚洲| 国产精品柏欣彤在线观看| 久久er这里都是精品23| 亚洲欧洲日产国码二区在线| 女人被狂躁的视频免费一一| 日韩国产毛片| 日韩精品在线一区二区| 中文字幕日本亚洲欧美不卡| 两性色午夜视频自由成熟的性| 国产免费拍拍视频在线观看网站| 狠狠色噜噜狠狠狠97影音先锋| 国产精品麻豆| 国产精品免费视频播放器| 国产麻豆精品在线观看| 日本三级a做爰视频东爱| 66j8免费视频| 中日韩欧美中文字幕毛片| 521香蕉在线观看视频| 91在线公开视频| 亚洲综合专区| 亚洲精品高清在线观看| 亚洲国产精品人久久电影| 午夜看片未满十八勿进| 天天狠狠色噜噜| 欧美一区二区三区免费播放| 六月丁香激情综合成人| 久久成人精品视频| 国产亚洲女在线精品| 国产chinese中国hdxxxx| 91精品小视频| 高h猛烈做哭bl壮汉受欧美| 性xxxxxxx动漫视频| 国产视频一区在线观看| 国产小视频在线观看| 欧美日韩视频一区二区三区| 免费观看全黄做爰| 欧美性活一级视频| 免费在线黄色网址| 在线看成品视频入口免|