存儲(chǔ)速度創(chuàng)紀(jì)錄!75TB/s!世界首臺(tái)E級(jí)超算下半年投入使用
2021-05-24 13:50:06 EETOPOLCF Frontier的輸入/輸出工作組負(fù)責(zé)人Sarp Oral表示:“據(jù)我們所知,Orion將成為世界上最大和最快的單文件POSIX命名空間文件系統(tǒng)。
Frontier超級(jí)計(jì)算機(jī)實(shí)際上將具有兩個(gè)存儲(chǔ)子系統(tǒng):一個(gè)系統(tǒng)內(nèi)存儲(chǔ)層,具有超過75TB / s的超大順序讀取性能和大約150億個(gè)讀取IOPS,以及一個(gè)稱為Orion的中心范圍文件系統(tǒng),可提供巨大的讀取速度700PB的容量。
Orion全局文件存儲(chǔ)系統(tǒng)層:700PB容量,速度為10TB / s
由于Frontier依賴HPE的Cray Shasta架構(gòu),因此其全局文件存儲(chǔ)系統(tǒng)將在很大程度上依賴使用PCIe 4.0 / NVMe固態(tài)驅(qū)動(dòng)器和傳統(tǒng)硬盤驅(qū)動(dòng)器的ClusterStor多層架構(gòu)。
Cray ClusterStor計(jì)算機(jī)使用AMD EPYC處理器,可以根據(jù)工作負(fù)載自動(dòng)調(diào)整文件系統(tǒng)中的數(shù)據(jù)流,并根據(jù)需要在不同存儲(chǔ)層之間轉(zhuǎn)移I / O操作。這種轉(zhuǎn)變使應(yīng)用程序相信他們正在訪問高性能的全閃存陣列,從而使性能最大化。
至于軟件方面,Orion將使用開源的Luster并行文件系統(tǒng)(包括OLCF的Titan和Jaguar在內(nèi)的全球超級(jí)計(jì)算機(jī)負(fù)載)以及帶有卷管理器的ZFS。
通常,F(xiàn)rontier的中心范圍的Orion將分為三個(gè)層次:
基于47,700個(gè)PMR硬盤的HDD存儲(chǔ)層,提供679PB的容量,5.5TB / s的峰值讀取速度,4.6TB / s的峰值寫入速度以及超過200萬個(gè)隨機(jī)讀取IOPS。
OLCF表示,Orion將擁有40個(gè)Luster元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)和450個(gè)Luster對(duì)象存儲(chǔ)服務(wù)(OSS)節(jié)點(diǎn),整個(gè)系統(tǒng)總共有1,350個(gè)OST。每個(gè)OSS節(jié)點(diǎn)將提供一個(gè)用于性能的對(duì)象存儲(chǔ)目標(biāo)(OST)設(shè)備和兩個(gè)用于容量的OST設(shè)備。此外,Orion將采用160個(gè)節(jié)點(diǎn)進(jìn)行路由,這將為其他OLCF資源和平臺(tái)提供3.2 TB / s的峰值讀寫速度。
OLCF高性能計(jì)算存儲(chǔ)和歸檔小組負(fù)責(zé)人Dustin Leverman說:“ Orion由于其極高的規(guī)模和硬盤/ NVMe混合特性而在技術(shù)上不斷突破。” “這是一個(gè)復(fù)雜的系統(tǒng),但是我們的經(jīng)驗(yàn)和最佳實(shí)踐將幫助我們創(chuàng)建一種資源,使我們的用戶可以使用Frontier來突破科學(xué)的界限。”
存儲(chǔ)層:150億讀取IOPS時(shí)高達(dá)75TB/s
Frontier的存儲(chǔ)層由直接安裝到計(jì)算節(jié)點(diǎn)中的SSD組成,并使用PCIe Gen 4接口連接到AMD的EPYC處理器。這些NVMe驅(qū)動(dòng)器將提供超過75TB / s的讀取速度,超過35TB /寫入的速度和超過150億次隨機(jī)讀取IOPS的綜合性能。
OLCF沒有透露存儲(chǔ)層的容量,但這只是本地存儲(chǔ),因此不要期望這里有數(shù)十PB的容量。
總結(jié)
總體而言,存儲(chǔ)層為Frontier提供了高達(dá)75TB/s的驚人性能,而中心范圍的Orion則提供了約700PB的容量。將此雙層和多層存儲(chǔ)子系統(tǒng)相結(jié)合,可以滿足1.5 EFLOPS機(jī)器和20MWatt功耗的需求:無與倫比的存儲(chǔ)性能,可將數(shù)據(jù)饋送到CPU和GPU,并具有存儲(chǔ)超級(jí)計(jì)算機(jī)所要存儲(chǔ)的大型數(shù)據(jù)集的最終能力。
關(guān)鍵詞: E級(jí)超算 存儲(chǔ) 超級(jí)計(jì)算機(jī)
EETOP 官方微信
創(chuàng)芯大講堂 在線教育
半導(dǎo)體創(chuàng)芯網(wǎng) 快訊
相關(guān)文章