一張晶圓僅做一顆芯片,良率100%?史上最大芯片更新至第二代
2021-04-22 12:30:19 EETOP編譯整理致力于發展人工智能超級運算的公司Cerebras Systems,繼2019 年推出全球最大的晶圓級處理器WSE之后,日前再于此基礎上開發出容納更多晶體管的WSE-2 處理器。
據官方數字,WSE-2 處理器在幾乎等于一整個12 吋晶圓大小的處理器,容納2.6 萬億個晶體管,預計新處理器可以為人工智能運算帶來突飛猛進的效益。
Cerebras Systems 表示,WSE 系列處理器是針對人工智能運算客制化產品,WSE2于第一代一樣,芯片面積近乎于整張12吋晶圓,達到了4.6萬mm 2 但采用了臺積電7 納米制程的WSE-2處理器擁有2.6 萬億個晶體管和85萬個人工智能最佳化內核,為首代WSE 處理器的兩倍多。Cerebras還引用了1000倍的板載內存,帶有40 GB的SRAM,而Ampere A100則為40MB。
這些核心用帶有FMAC數據路徑的二維網連接。Cerebras通過設計一個可以繞過任何制造缺陷的系統來實現100%的良率--最初Cerebras有1.5%的額外內核以允許缺陷的存在,但后來被告知這太多了,因為臺積電的工藝已經非常成熟。
Cerebras與WSE的目標是提供一個單一的平臺,通過創新的專利設計,允許在人工智能計算中有用的更大的處理器,但也已經擴展到更廣泛的HPC工作負載。
該設計的一個關鍵是自定義圖形編譯器,它采用pyTorch或TensorFlow,并將每一層映射到芯片的一個物理部分,允許在數據流過時進行異步計算。擁有如此大的處理器意味著數據永遠不必離開芯片而在內存中等待,從而避免了浪費功耗,并且可以以流水線的方式不斷進入計算的下一個階段。編譯器和處理器的設計也考慮到了稀疏性,無論批次大小,都可以實現高利用率,或者可以使參數搜索算法同時運行。
對于Cerebras的第一代WSE是作為一個完整的系統出售的,稱為CS-1,該公司已有幾十個已部署的系統正在運行,包括一些研究實驗室、制藥公司、生物技術研究、軍事以及石油和天然氣行業。勞倫斯·利弗莫爾(LawrenceLivermore)有一個CS-1與它的23 PFLOP 'Lassen'超級計算機相配。匹茲堡超級計算機中心用500萬美元的撥款購買了兩套系統,并將這些系統連接到其Neocortex超級計算機上,從而實現了同步AI和增強型計算。
產品和合作關系
目前,Cerebras銷售的完整CS-1系統是一個15U的盒子,包含一個WSE-1以及12x100GbE、12個4千瓦的電源(6個冗余,峰值功率約23千瓦),在一些機構的部署是與HPE的SuperDome Flex搭配。新的CS-2系統也有這樣的配置,盡管核心數增加了一倍多,板載內存也增加了一倍,但仍在相同的功率范圍內。與其他平臺相比,這些處理器在15U的設計中是垂直排列的,以便于訪問,并在如此大的處理器上內置液體冷卻。
Cerebras設計的獨特之處在于能夠超越通常在制造中呈現的物理制造極限,即所謂的網紋極限。處理器在設計時將這一限制作為芯片的最大尺寸,因為用交叉網紋連接兩個區域很困難。這是Cerebras帶來的秘訣的一部分,該公司仍然是唯一一家提供這種規模的處理器的公司--Cerebras開發并獲得的構建這些大型芯片的專利在這里仍然發揮作用,第二代WSE將被構建在CS-2系統中,在連接和視覺方面的設計與CS-1相似。
同樣的編譯器和軟件包的更新使任何使用第一個系統試驗AI工作負載的客戶能夠在部署第二個系統時使用。Cerebras一直致力于更高層次的實現,使擁有標準化TensorFlow和PyTorch模型的客戶能夠通過添加三行代碼并使用Cerebras的圖形編譯器,非常快速地同化他們現有的GPU代碼。然后,編譯器將整個85萬個內核分成各層的片段,使數據流以流水線的方式不停頓的進行。該芯片還可以同時用于多個網絡的參數搜索。
作為一家公司,Cerebras在多倫多、圣地亞哥、東京和舊金山擁有約300名員工。首席執行官Andrew Feldman表示,他們已經開始盈利,已經有幾十家客戶部署了CS-1,還有更多的客戶已經在遠程試用CS-2,他們正在開發商業系統。除了人工智能,由于芯片的靈活性可以實現流體動力學和其他計算模擬,Cerebras也從典型的商業高性能計算市場獲得了極大關注,比如油氣和基因組學。CS-2的部署將在今年第三季度晚些時候進行,價格已經從200萬到300萬美元上漲到幾百萬美元。