90萬核、4萬億晶體管，晶圓級芯片再進化！英偉達競品推出第三代，代碼銳減97%，GPT-3訓練僅需565行！
2024-03-14 11:39:32 EETOP致力于發展人工智能超級運算的公司Cerebras Systems，繼2019 年推出全球最大的晶圓級處理器WSE、2021年推出第二代WSE-2 處理器后，近日又再次進化，推出了第三代晶圓級處理器WSE-3（Wafer Scale Engine 3 ）以及由該款芯片構成的 CS-3 超級計算機系統。
這是一款突破性的 AI 晶圓級芯片，其性能是其前身WSE-2的兩倍。這款新器件采用了臺積電5納米工藝，包含 4 萬億個晶體管；90萬個AI核心；44GB 片上 SRAM；峰值性能為 125 FP16 PetaFLOPS。Ceberas 的 WSE-3 將用于訓練一些業界最大的人工智能模型。
WSE-3 為 Cerebras 的 CS-3 超級計算機提供動力，該超級計算機可用于訓練具有多達 24 萬億個參數的 AI 模型，這比由 WSE-2 和其他現代 AI 處理器提供動力的超級計算機實現了重大飛躍。該超級計算機可支持 1.5TB、12TB 或 1.2PB 外部存儲器，這使得它可以在單個邏輯空間中存儲海量模型，而無需分區或重構，從而簡化訓練過程并提高開發人員效率。
與英偉達H100比較
在可擴展性方面，CS-3可以配置為多達2048個系統的集群。這種可擴展性使其能夠在一天內通過四系統設置微調 700 億個參數模型，并在同一時間范圍內從頭開始全面訓練Llama 70B 模型。
最新的 Cerebras 軟件框架提供對 PyTorch 2.0 的原生支持，還支持動態和非結構化稀疏性，這可以加速訓練——比傳統方法快八倍。
Cerebras 強調了 CS-3 卓越的功效和易用性。盡管性能提高了一倍，CS-3 的功耗仍與其前身相同。它還簡化了大型語言模型 (LLM) 的訓練，與 GPU 相比，所需的代碼減少了 97%。例如，據該公司稱，GPT-3 大小的模型在 Cerebras 平臺上只需要 565 行代碼。
該公司已經看到了人們對 CS-3 的濃厚興趣，并且擁有來自各個部門（包括企業、政府和國際云）的大量積壓訂單。Cerebras 還與美國阿貢國家實驗室和梅奧診所等機構合作，強調了 CS-3 在醫療保健領域的潛力。
Cerebras 和 G42 公司之間的戰略合作伙伴關系也將隨著 Condor Galaxy 3 的建設而擴大，Condor Galaxy 3 是一款人工智能超級計算機，配備 64 個 CS-3 系統（包含多達 57,60萬個內核）。兩家公司已經共同創建了世界上最大的兩臺人工智能超級計算機：Condor Galaxy 1 (CG-1) 和 Condor Galaxy 2 (CG-2)，它們位于加利福尼亞州，綜合性能為 8 ExaFLOPs。此次合作的目標是在全球范圍內提供數十 exaFLOP 的人工智能計算能力。
G42 公司首席技術官 Kiril Evtimov 表示：“我們與 Cerebras 的戰略合作伙伴關系在推動 G42 創新方面發揮了重要作用，并將為加速全球范圍內的人工智能革命做出貢獻。Condor Galaxy 3 是我們的下一代 AI 超級計算機，擁有 8 exaFLOPs，目前正在建設中，很快將使我們系統的 AI 計算總產量達到 16 exaFLOPs。”
