高通Cloud AI 100平臺開始出樣：75W實現400TOPS算力
2020-09-17 09:22:10 cnBeta.COM
隨著芯片開始出樣，高通 Cloud AI 100 推理芯片終于從實驗室走向了現實，并且披露了有關其架構設計、性能功耗目標在內的諸多細節。
據悉，高通為商業化部署提供了三種不同的封裝形式，包括成熟的 PCIe 4.0 x8 接口（在 75W TDP 上實現 400 TOPS 算力）、以及 DM.2 和 DM.2e 接口（25W / 15W TDP）。
DM.2 的外形類似于彼此相鄰的兩個 M.2 連接器，在企業市場上頗受歡迎。DM.2e 則是體型更小，封裝功耗也更低。
從架構的角度來看，該設計借鑒了高通在驍龍移動 SoC 上部署的神經處理單元（NPU）的豐富經驗，但仍基于一種完全針對企業工作負載而優化的獨特架構設計。
與當前的通用計算硬件（CPU / GPU / FPGA）相比，專用型 AI 設計的最大優勢，在于能夠實現“傳統”平臺難以企及的更高的性能和能效目標。
性能數據方面，高通拿目前業內常用的解決方案進行了對比，包括英特爾 Goya 和英偉達 T4 推理加速器（基于砍了一刀的 TU104 GPU 芯片），每瓦每秒的推理能力為 ResNet-50 。
據說 Cloud AI 100 在每瓦性能上較競品實現了重大飛越，且高通在另一幅圖表中展示了一個相對公平的比較。
有趣的說法是，其甚至能夠在 75W 的 PCIe 外形尺寸內擊敗英偉達 Ampere 架構的 250W A100 加速器。且在功耗降低 25% 的情況下，性能還較英特爾 Goya 加速器翻了一番。
這樣的性能數據，讓許多人覺得難以置信，不過從 Cloud A100 的芯片規格來看，事情其實并不簡單。該芯片包含了 16 組 AI 內核，和達成 400 TOPS 的 INT8 推理吞吐量。
輔以 4 路 @ 64-bit 的 LPDDR4X-4200（2100MHz）的內存控制器，每個控制器管著 4 個 16-bit 通道，總系統帶寬達 134 GB/s 。
如果你對當前的 AI 加速器設計比較熟悉，就知道它與英偉達 A100 和英特爾 Goya 等推理加速器競品的帶寬有較大差距，因為后者具有高帶寬緩存（HBM2）和高達 1-1.6 TB/s 的帶寬。
即便如此，高通還是設法為 Cloud AI 100 平臺配備了 144MB 的片上 SRAM 高速緩存，以達成盡可能高的存儲流量。
高通承認，在工作負載的內存空間占用超過片上 SRAM 的情況下，該架構的性能將有所不同。但對于目標客戶來說，這樣的平衡設計，仍是有意為之。
后續該公司還展望了更大的內核、以及在多個 Cloud AI 100 加速器之間橫向擴展。在被問及如何達成 15W 至 75W 的動態功耗范圍時，高通宣稱其正在調整頻率 / 電壓曲線，以及調制 AI 核心的數量。
想象一下，一套完整的 400 TOPS 75W 設計，包含了一個工作頻率較高的芯片。而 15W TDP 的版本，可能以較低的頻率在運行。與此同時，7nm 的工藝節點，有助于其進一步降低功耗。
精度方面，Cloud AI 100 的架構體系支持 INT8 / INT16 和 FP16 / FP32 精度，能夠帶來足夠的靈活性。高通還提供了一組 SDK，以便為各項行業標準提供交換格式和框架支持。
高通公司目前正在向客戶提供 Cloud AI 100 推理加速器的樣品，主要部署目標為工業和商業領域中的邊緣推理工作負載。
為推動生態系統和為軟件開發提供支持，該公司還推出了新的 Cloud Edge AI 100 開發套件，其中包括了一個集成該加速器的小型計算設備、驍龍 865 SoC、以及用于蜂窩連接的 X55 5G 調制解調器。
免責聲明：本文由作者原創。文章內容系作者個人觀點，轉載目的在于傳遞更多信息，并不代表EETOP贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題，請及時聯系我們，我們將在第一時間刪除！
