存儲速度創紀錄!75TB/s!世界首臺E級超算下半年投入使用
2021-05-24 13:50:06 EETOPOLCF Frontier的輸入/輸出工作組負責人Sarp Oral表示:“據我們所知,Orion將成為世界上最大和最快的單文件POSIX命名空間文件系統。
Frontier超級計算機實際上將具有兩個存儲子系統:一個系統內存儲層,具有超過75TB / s的超大順序讀取性能和大約150億個讀取IOPS,以及一個稱為Orion的中心范圍文件系統,可提供巨大的讀取速度700PB的容量。
Orion全局文件存儲系統層:700PB容量,速度為10TB / s
由于Frontier依賴HPE的Cray Shasta架構,因此其全局文件存儲系統將在很大程度上依賴使用PCIe 4.0 / NVMe固態驅動器和傳統硬盤驅動器的ClusterStor多層架構。
Cray ClusterStor計算機使用AMD EPYC處理器,可以根據工作負載自動調整文件系統中的數據流,并根據需要在不同存儲層之間轉移I / O操作。這種轉變使應用程序相信他們正在訪問高性能的全閃存陣列,從而使性能最大化。
至于軟件方面,Orion將使用開源的Luster并行文件系統(包括OLCF的Titan和Jaguar在內的全球超級計算機負載)以及帶有卷管理器的ZFS。
通常,Frontier的中心范圍的Orion將分為三個層次:
基于47,700個PMR硬盤的HDD存儲層,提供679PB的容量,5.5TB / s的峰值讀取速度,4.6TB / s的峰值寫入速度以及超過200萬個隨機讀取IOPS。
OLCF表示,Orion將擁有40個Luster元數據服務器節點和450個Luster對象存儲服務(OSS)節點,整個系統總共有1,350個OST。每個OSS節點將提供一個用于性能的對象存儲目標(OST)設備和兩個用于容量的OST設備。此外,Orion將采用160個節點進行路由,這將為其他OLCF資源和平臺提供3.2 TB / s的峰值讀寫速度。
OLCF高性能計算存儲和歸檔小組負責人Dustin Leverman說:“ Orion由于其極高的規模和硬盤/ NVMe混合特性而在技術上不斷突破。” “這是一個復雜的系統,但是我們的經驗和最佳實踐將幫助我們創建一種資源,使我們的用戶可以使用Frontier來突破科學的界限。”
存儲層:150億讀取IOPS時高達75TB/s
Frontier的存儲層由直接安裝到計算節點中的SSD組成,并使用PCIe Gen 4接口連接到AMD的EPYC處理器。這些NVMe驅動器將提供超過75TB / s的讀取速度,超過35TB /寫入的速度和超過150億次隨機讀取IOPS的綜合性能。
OLCF沒有透露存儲層的容量,但這只是本地存儲,因此不要期望這里有數十PB的容量。
總結
總體而言,存儲層為Frontier提供了高達75TB/s的驚人性能,而中心范圍的Orion則提供了約700PB的容量。將此雙層和多層存儲子系統相結合,可以滿足1.5 EFLOPS機器和20MWatt功耗的需求:無與倫比的存儲性能,可將數據饋送到CPU和GPU,并具有存儲超級計算機所要存儲的大型數據集的最終能力。