一種大幅提升AI SOC芯片設計的方法！
2024-12-12 13:15:45 EETOP片上網絡 (NoC) 技術在系統級芯片 (SoC) 設計中的應用已被證實可以減少布線擁塞并降低功耗。現在，一種新的NoC瓦格化(NoC-enabled tiling)方法有助于加速開發、便于擴展、支持SoC的降功耗技術并可提高針對人工智能 (AI) 應用的SoC設計重用。在本文中，我們將假設 AI 包括機器學習 (ML) 和推理等用例。
工程學中的一個挑戰是，同一個術語可能被用來指代不同的事物。例如，術語“瓦格 (tile)”就具有多種含義。有些人將瓦格等同于芯粒 (chiplet)，芯粒是獨立的小型裸硅芯片 (die)，實際使用時安裝在普通硅襯底或有機襯底或中介層上。芯粒可以被認為是“硬瓦格”。
相比之下，許多SoC，包括那些用于AI應用的SoC，都采用處理單元 (processing elements, PE) 陣列，這可以被視為“軟瓦格”。例如圖 1 所描述的通用SoC。
除了包含多個通用CPU的處理器集群，以及其他幾個IP模塊之外，SoC還可能包含專用處理器或硬件加速器：圖1中的SoC包括了一個圖像信號處理器 (ISP)、一個圖形處理器 (GPU) 和一個專為高性能、低功耗AI處理而設計的神經處理單元 (NPU)。
NPU是由相同PE組成的一個陣列。在不遠的過去，這些PE通常是以相對簡單的乘積 (MAC) 函數實現的，其中MAC是指乘加運算。相比之下，如今的 SoC 通常包含多個通過內部 NoC 連接的 IP 的 PE。
手動實現軟瓦格化
如前文所述，NPU中的每個PE可以由多個IP組成，這些IP通過內部NoC連接。此外，NPU中的所有PE也可以使用NoC連接，通常以網狀拓撲結構實現。
傳統手工方法實現NPU是從創建單個PE開始的。除了AI加速器邏輯以外，PE還將包含一個或多個網絡接口單元 (NIU)，用于將PE連接到主網狀NoC中。如圖2a所示。
如果我們假設NPU規范需要一個 4x4 的PE陣列，那么設計人員將使用“剪切-粘貼”方法將PE復制 16 次 (圖2b)。接下來，使用NoC工具自動生成NoC (圖2c)。在此過程中，NoC 生成器會自動為NoC的每個交換單元分配唯一標識符 (ID)。但是，PE中的NIU也將具有與PE相同的ID，即PE創建時的默認ID。
為了使NoC將數據從源節點傳輸到目標節點，每個PE中的NIU必須有一個唯一的ID。這需要設計人員手動修改每個 PE 實例，以便為每個NIU提供自己的ID。這一過程不僅耗時，而且容易出錯，從而會影響下游測試和驗證。
這種手動實現的瓦格化 (tiling) 技術面臨一些挑戰。例如，在設計過程的早期，經常會對PE規范進行更改。對于每次更改，設計人員有兩種選擇: (a) 在陣列的所有PE實例中手動復制更改，或者 (b) 僅修改原始PE，然后重復整個手動剪貼的軟瓦格化過程。這兩種方法都非常耗時且容易出錯。
此外，手動執行軟瓦格化也不方便擴展。如果需要用 8x8 版本替換原始的 4x4 陣列，例如用于衍生產品，則這個過程就會變得越來越繁瑣，問題也會越來越多。
片上網絡瓦格化
“片上網絡瓦格化 (NoC-enabled tiling)”是SoC設計的一個新興趨勢。這種演進式方法采用成熟、穩健的NoC IP使擴展更容易、縮短設計時間、加快測試速度并降低設計風險。
使用片上網絡瓦格化技術，設計人員也像以前一樣從創建單個PE開始。不過，在這種情況下，可以使用NoC工具自動復制PE、生成NoC并配置PE中的NIU，所有這些操作只需幾秒鐘即可完成。設計人員只需要指定所需的陣列維度。
除了顯著加快陣列生成過程外，這種“按照結構修正 (correct by construction)”的方法還消除了人為錯誤的可能性。它還使設計團隊能夠在SoC開發流程的早期快速、輕松地滿足對PE的更改請求。此外，它還能極大地促進擴展和設計重用，包括創建衍生設計。
不斷發展的市場
Arteris 與引領市場的創新者合作，共同應對不斷發展的IP和SoC設計挑戰。根據對客戶目前正在開發的AI SoC設計的分析，Arteris 團隊確定了軟瓦格化在當今的 AI 關鍵垂直和水平領域中的相對使用情況。如圖 4 所示，其中圓圈的面積反映了應用用例的相對數量。
設計具數十億個晶體管的SoC不僅十分耗時，而且面臨許多挑戰。一些SoC器件，比如針對AI 應用的SoC，可能包含由PE陣列組成的NPU等功能。
Arteris以其行業領先的一致性和非一致性NoC技術而聞名。片上網絡瓦格化技術是一種新興趨勢，Arteris 公司領先的NoC IP產品和NoC工具給您帶來先進的可靠的支持。我們還精心為您準備了Arteris 的三份技術白皮書，掃一掃二維碼，即可獲取如下資料。
掃一掃二維碼，立即獲取資料
資料清單
