自動駕駛AI芯片到位了么？
2018-08-15 11:02:12 eettaiwan關于人工智能(AI)的報導一直不絕于耳。過去幾年來，幾乎每個月(有時甚至是每周)都會有一款現有或新創公司的全新AI處理器推出市場。
然而，懸而未決的問題是：為什么有這么多的AI處理器？每一款AI芯片的設計是為了解決哪些問題？更重要的是，當今的AI版圖中還缺少哪些部份？
Tirias Research首席分析師Kevin Krewell直截了當地說，「AI帶來了一種新典范，并改變了整個電腦系統。」現有企業和新創公司都在爭奪仍處于混亂中的AI-ready運算領域。
以色列Hailo是一家為「邊緣設備深度學習」打造專用芯片的新創公司，今年6月宣布完成1,250萬美元的A輪融資。Hailo的目標在于「為任何產品帶來智慧」(to bring intelligence to any product)。因此，Hailo執行長Orr Danon最近呼吁「徹底重新設計電腦架構的支柱——存儲器、控制和運算以及其間的關系。」
這是一個值得稱道的目標。然而，Hailo既不打算透露其架構細節——Danon僅表示「可能就在今年底」，其首款AI處理器最快也要到2019年上半年后才會正式推出。
Danon認為，目前還沒有一家自動駕駛車(AV)供應商能在無數的新一代AI處理器中找到適用于其AV的芯片。
汽車領域正是Hailo看好其新款AI處理器得以發揮的直接目標市場。Danon指出，當今的測試AV實際上都在公共道路上行駛，車后行李箱中還配置了一個資料中心。他說，為了填補這些測試車和自動駕駛車(必須為大量部署而打造)之間的巨大鴻溝，一線(tier one)和汽車OEM需要一種全新的AI處理器，協助其更有效率地執行相同的深度學習任務。
Hailo為此整理了目前每一款AI處理器的每瓦(W)深度學習TMACS。該公司與讀者分享的重點在于深入探討：AV產業在多大程度上仍無法獲得推動高度自動駕駛車所需的高效能AI處理器。
業界分析師和其他AI新創公司高層也針對目前在AI發展道路上的重大障礙發表看法。
大多數業界觀察家一致認為，目前基于馮·諾依曼(von Neumann)架構的CPU處理器無法有效因應當今的AI處理任務。
The Linley Group首席分析師Linley Gwennap指出，「Von Neumann不適用于AI。」他解釋說，每一次的運算都必須獲取并解碼指令，以及收集并儲存資料于暫存器檔案中。「為了提高每瓦運算效能，你必須執行更多的運算和更少的擷取任務。」
Krewell同意這一看法。他說：「Von Neumann架構極其適于控制和循序計算：'If-Then-Else'操作。相形之下，神經網路就像圖形一樣，是高度平行的，而且依賴于存儲器頻寬的處理。試圖用CPU擴展神經網路是相當昂貴的(包括功耗和成本)?！?/span>
典型的馮·諾依曼(von Neumann)電腦架構（來源：Hailo）
Danon說：「盡管Von Neumann架構和現代CPU一般都非常靈活，但在很多情況下，這種靈活性并不是必要的?！顾m用于神經網路和其他操作，例如，為未來的許多周期預先確定行為。在這種情況下，他指出，設計系統的更有效方法是「避免以讀取指令來指導每個周期的系統行為。保持每個周期改變元素行為的靈活度非常重要?！?/span>
在Danon看來，「神經網路將這一概念推向了極致。『結構』——決定運算元素之間連接性——確定整個會話的行為(又稱『運算圖形』)?！购喲灾?，AI社群需要的不是基于Von Neumann架構的處理器，而是「善于描述神經網路結構的特定處理器」。
重新關注資料流架構
由于CPU和GPU的深度學習性能無法滿足需求，引發業界積極尋找基于資料流(dataflow)架構的新解決方案。但為什么是資料流？
根據Gwenapp的說法，業界希望進行更多的運算和更少的擷取，首先嘗試開發寬的單指令/多資料(SIMD)架構?！傅悄阒荒軐捍嫫鳈n案做得很寬。」業界很快地發現，該解決方案是「直接自動地將資料從運算單元移動到運算單元」。他說，「這是一種稱為資料流的通用方法，可以大幅降低von Neumann的開銷?！?/span>
不久前才收購MIPS的Wave Computing，是一家利用資料流技術的AI新創公司。根據該公司執行長Derek Meyer表示，Wave Computing設計了一款新的處理單元，「可以原生支援Google TensorFlow和微軟(Microsoft)的CNTK」。
Danon坦承Hailo的新款AI處理器也屬于架構的「資料流系列」。他解釋說，資料流「通常更適合深度學習」，因為「用于計算的大多數參數都不需要移動。相反地，它們用于描述資料??流動時的圖形?！?/span>
資料流解決方案：典型的平行運算架構（來源：Hailo）
Krewell指出，資料流的概念并不是什么新鮮事兒，也已經成功地在通用電腦硬體實現商用化了。
但是，隨著AI改變運算領域，資料流正在尋找機器學習的「新機遇」。Krewell補充說：「透過使用資料流和脈動陣列架構，您可以將神經網路處理設計為從一分層到另一分層，而無需太多控制邏輯?！?/span>
這種新轉折可說是Wave Computing的天賜良機。該新創公司自2010年以來一直在利用其于資料流技術方面的專業知識以及建立專利組合，積極地專注于機器和深度學習。
存儲器頻寬面臨瓶頸
AI——特別是卷積神經網路(CNN)，似乎非常適合資料流設計。但是，Gwenapp強調，這并不表示所有的資料流設計都對AI有利，「系統中還存在著其他瓶頸，如存儲器頻寬?！?/span>
業界開始看到這樣的暗示：存儲器導向的裝置是客制深度學習硬體的未來。例如，新創公司Mythic瞄準了將神經網路映射到NOR存儲器陣列。該公司將「存儲器處理器」(processor-in-memory；PIM)架構用于AI，使其芯片得以在快閃存儲器中儲存并處理神經網路權重，而其結果(最終和中間)則儲存在SRAM中。因為這樣的存儲器陣列無需將資料移入和移出外部存儲器，所以，Mythic承諾將在其芯片中實現性能/功耗的巨大進展。
