隔壁老王：AI芯片與她怎么選？
2018-09-27 14:25:15 EETOP老王其人
大家好，我是老王，住在隔壁。老王是一位科技從業者，人到中年，本應朝著油膩的方向一騎絕塵，不曾想這一大波兒AI來得過于胸猛妖嬈，老王不由自主地強迫自己變得清爽宜人去靠近她。老王一直以來有兩個夢想：第一是出一款震驚行業的AI方案，另一個嘛你懂得（PS：再次強調老王住隔壁）。老王并非浪得虛名，老王曾出過響當當有行業影響力的AI產品，也曾位居某大型企業研究院掌門之位，在智能硬件領域帶過節奏領過風騷。英雄不談往事，還是說老王這些年在冥思苦想如何搞AI(她)。
首先，老王很想談幾點這些年來的思考，以饗各位。
人工智能發展幾經沉浮，最近一次回到大眾視野源自2012年ImageNet大賽，在這屆大賽上，一個新玩意兒登場了，它就是卷積神經網絡CNN，此后便一發不可收拾，火得一塌糊涂。甚至，卷積神經網絡有一統視覺和語音之勢。可見，卷積神經網絡是這波兒AI大潮最重要的代表性技術。說到這，答案自然有了，AI產業需要處理卷積運算的協處理芯片！有人會問：為什么不是SoC？老王反問你，AI行業高度碎片化，不同場景對卷積運算性能要求不一樣，0.1TOPS，1TOPS，10TOPS…如何定義SoC？再說，市場上各種功能模塊高度成熟，應有盡有，唯獨缺少高效的卷積運算方案，現階段應先解決好這個問題，而不是上來就定一個SoC的小目標。你不信老王可以，但你總不能質疑谷歌吧。谷歌最近發布的端側開發板，Edge TPU正是一顆協處理器，搭配NXP(前Freescale）的主控，看見沒？以谷歌之力，打造SoC并非難事哦，道理不言自明。“專用主控+協處理器”的小型異構計算系統是現階段最合理的端側解決方案，谷歌或明或暗的告訴大家了。
卷積運算是高密度運算，一般的通用型芯片看上去靈活好用但運算起來力不從心，選擇更高性能的通用型芯片，但發現功耗也會同比升高，此類方案部署在端側是不實際的。因此有一個指標被特別看重，那就是“能耗效率”。一時間，整個產業都在思考“通用性與效率“二者能否得兼？其實，這并不是一個新話題，早在高性能計算(HPC)領域，這個問題就一直存在，只不過AI讓這個問題被更廣泛思考。老王要跟大家說的是，魚和熊掌你只能選一個！你不信老王可以，但你總不能質疑計算機領域的宗師，2017年圖靈獎獲得者John Hennessy和David Patterson吧，說到這，DSA了解一下。DSA正是頂級大師給AI芯片領域指出的發展方向，即專用芯片。
在此還是要再提一下谷歌TPU，不知你注意沒，TPU其實只有11條指令，常用的有5條，其中兩條還是內存讀寫指令，汗！沒錯兒，這就是側重效率的專用芯片，可能不是你想象那種高度可編程的架構哦。
問題三：傳統計算架構行不行？
答案是不行！摩爾定律對傳統架構芯片性能提升的幫助已經非常有限，硬生生堆砌計算單元，性能在理論上雖然可以提升，但是問題便隨之出現：內存帶寬跟得上嗎？功耗hold得住嗎？計算單元利用率有保障嗎？你不信老王可以，但你總不能質疑芯片學術領域的“奧林匹克”--- ISSCC上那些頂級學者的論文吧，實在抱歉，論文太多，老王就不一一列舉了，總之一句話：架構不創新是不行了。
剛剛我們談到了“通用性與效率”的問題，那么新問題來了，遍地的算法公司都自己關門搞一套模型架構，搞自定義操作的玩意兒，好像這年頭誰要是用開源的CNN模型就無法跟別人打招呼，那好吧，通用型芯片幾乎是他們的唯一選擇，問題又來了，端側通用型芯片能落地嗎？能跑起算法的那些高性能的多核ARM芯片動輒四瓦以上的功耗瞬間變身”小火爐”，用戶受得鳥嗎？找個功耗低一點的ARM芯片，性能不足導致實時性沒有了，用戶體驗不佳，用戶受得鳥嗎？好吧，芯片不落地，算法也就無法變現，算法公司怎么活？算法公司本不是老王操心的重點，重點是老王從video行業一路走來，目睹了從視頻格式大爆發到最后只剩三種：H.264，H.265，VP9。老王想跟諸位說，市場上幾百種上千種CNN模型，最終能剩下的可能不超過五個，因為模型本身也在競爭，背后的陣營也在競爭。識時務者為俊杰，老王給算法公司建言：讓算法主動去適配芯片，搭上專用芯片出貨的順風車，早點變現才是生存之道！
說到這不知諸位有沒有思考過這些問題，在下篇中老王將解開神器面紗，推出老王力作，別走開，老王好久沒去隔壁了，去打聲招呼馬上回來噢！
