Orion AI 獨有的技術打破SoC總線瓶頸助力人工智能時代
2018-06-27 20:14:50 未知隨著物聯網、云計算、大數據的高頻出現，人工智能被推向了新的高潮，其實早在上世紀40年代人工智能就已誕生，經歷一波三折，今天的人工智能是在谷歌AlphaGo大戰圍旗世界冠軍李世石之后再次被炒到了新的高度。然而，人工智能正奔向更多新的應用，自動駕駛、自動工廠、自動零售業等等，并因此被成熟的商業模式接受，開始在產業界發揮出真正的價值。
據業界知名人士分析，在這方面我國的多項技術已處于領先地位，十九大報告明確提出，“推動互聯網、大數據、人工智能和實體經濟深度融合”。在技術及政策背景的大力推動之下，中國先后誕生了一大波的創新型企業，就人工智能板塊而言，像寒武紀、地平線、深鑒科技這些公司是近兩年出鏡率最高的AI算法＋芯片的公司。百度這樣的互聯網巨頭也早在幾年前就看到了人工智能的前景，李彥宏干脆把人工智能直接定義為公司下一步的發展方向，并且一度想要把百度無人駕駛汽車量產日提前；阿里公司也并不甘落后，將AI應用到線下零售門店，無人超市便是他的試水之作。之所以人工智能被高度關注，原因很明顯，這是一次正在興起的產業革命，未來10年人工智能將為世界帶人顛覆性的變化。
談到人工智能不得不說一下“大數據”，然而大數據單獨出現并沒有多大的重要性，重要的是通過人工智能去處理這些大數據使其發揮應有的價值；另外，“算法”稱得上是人工智能很重要的一個部分，即現在的神經元模型，在這方面對于我國這些做AI算法的公司而言已并不算難題；難的是計算和處理能力的問題，人工智能時代數據量呈現爆發式增長，原來的Soc最多集成10個運算單元或控制單元，但下一步人工智能時代將會有上千個運算單元連接起來，內核數量增多，大量并行結構，點對點的通信，并且要保證數據的正常交換，對性能、速度、帶寬有著更高的需求。
在美國硅谷有這么一群從思科和華為走出來的互聯網工程師，他們預測下一輪半導體設計最大的挑戰是把所有的東西連在一起，且數據在交換時仍可以得到應有的頻率和寬帶。為解決這種挑戰，他們在2011年創辦了一家公司叫NETSPEED，專注于為網絡系統和高性能計算等市場的片上系統設計人員提供擴展性的緩存一致性片上網絡IP。也許正是因為其團隊的互聯網背景，他們在人工智能盛行的今天為SoC提出以人工智能的辦法，去解決芯片內部的各個運算單元之間的互連問題，這種智能的方案就是把互聯網的技術搬到芯片設計上，打破總線瓶頸。
前不久在一次發布會上，NetSpeed Systems大中華區銷售總監黃啓弘向記者表示，NetSpeed在一個合適的時間點上為人工智能提供了一個高性能、高效率的互連技術方案，該技術已授權給地平線、寒武紀、百度以及Esperanto等領人工智能公司。
圖：NetSpeed Systems大中華區銷售總監黃啓弘
“這些新SoC內部體現出的是一種新的數據流，”NetSpeed首席執行官SundariMitra說，“一般來說，想實現快速有效的點對點數據交換，就需要大量的計算單元。傳統架構運行方式不同，采用中央存儲作為數據交換系統。而人工智能系統需要任意位置數據交換，這可以通過廣泛的接口而實現，并需要支持長突發傳輸。Orion AI的一個關鍵優勢就是能夠支持多重多播請求，并支持非阻塞傳輸?！?br style="padding: 0px; margin: 0px auto;">
Orion AI 打破SoC總線技術瓶頸助力人工智能時代
以自動駕駛為例，進入自動駕駛四級，是需要汽車完全依靠自行判斷道路的狀況，來采取相應措施的。用黃啓弘的話來講，“人類真正第一次將生命交給了半導體。”隨后他解釋道，應用在汽車上的人工智能芯片單元總線設計相當復雜，通過各種影像、反饋、處理、判斷、執行等等眾多的步驟在最短的時間內使汽車自動地做出選擇并采取正確措施，才能保證駕駛的安全性。這一系列的程序均需要無論是毫米波雷達、傳感器、運算器等高靈敏度的協作。由此可見半導體間的互連是多么重要！那半導體同行又要用什么機制去保證這套線路的通暢呢？在芯片內部，傳統的神經網絡計算采用大型矩陣乘法，如此復雜的運算在時間點上必須準確且具備更高的性能。那問題自然來了，今后應用在上千個運算單元之間，每次都要重復的計算再傳輸到下一個單元，再次迭代，如此一來，運算單元不僅量在增加，而數據吞吐量也在加大。如何在一個非常龐大的復雜的運算單元里把總線做好呢？讓我們看看Orion AI是如何做到的？
這款用于片上互連的技術，NetSpeed把它稱為Orion AI，采用解耦架構，分層堆疊，每層均可擴展或收縮。它將運算單元分組，通過網絡中的橋把數據包送出，這樣的好處是可實現可編程多播，將一組數據選擇性的送給幾個點，動態控制下一點到多點的傳播，以提高效率，是最早也是目前唯一支持基于廣播推送的可配置多播網絡IP。具備端到端的Ｑos規劃，支持非阻塞路徑來控制帶寬與延遲。以及支持無需回應的發送信息模式，支持與片上網絡解藕。
圖：Orion AI 架構圖
圖：傳統人工智能工作負載的獨特性
另外，在性能方面，有著萬億字節每秒吞吐量－數據帶寬高達1024位總線，甚至可以更高，頻率達2GHz＋，支持達1000個內核；在效率方面，采用先進低功耗管理技術以提升能效，即便在關閉一部分總線的情況下，芯片依然正常運轉；內置人工智能。
為讓工程師更好的應用該技術，他們還提供了一整套的解決方案，包括輸入輸出的平臺。工程師只需把自己的需求輸入到平臺，平臺自動生成結果，同時可以支持手動再干涉，每一次均會有模型的生成，從而更直觀的看到設計結果，加速開發周期。值得一提的是，NetSpeed是在互連領域中唯一一家可以做到ASIL－Ｄ等級，也就是安全性最高等級，是ISO 26262標準下的一項最重要的安全風險等級。他們可以提供整套文件給用戶，以方便用戶很容易的與芯片公司聯合把系統做好得到ISO認證。
雖然NetSpeed是一家IP公司，但黃啓弘還是向公司提議，將該技術無需加密直接連到云端，提供給中國用戶。目前該公司在中國有五名員工，負責支持與銷售工作，已經與地平線、寒武紀、百度等知名公司進行合作，并得到一致認可。
