北航類腦芯片團隊提出“混合概率邏輯計算”機制（FPGA原型機已實現?。?/p> 2022-02-08 13:01:11 EETOP
近幾年，隨著人工智能、深度學習的迅速發展，類腦計算逐漸成為學術界、產業界的另一個研究熱點。早在1943年，心里學家提出人工神經元數學模型以來，人工智能就一直依賴著數據計算、神經科學的發展，對非二進制數的類腦計算的突破，將對類腦計算的構造起到決定性作用。
今天，深度學習神經網絡是一種生物學簡化的模型，具有數學可解釋性，硬件架構（馮諾依曼架構）可實現性。而硬件實現受限于布爾邏輯（二進制數）和馮氏架構代來的物理瓶頸，使得當前的AI計算芯片與腦計算存在著巨大差異。盡管深度學習在一些固定任務上超越人類，但數百億神經元由樹突和軸突連接成的大腦在完成學習、認知、推理、抽象等多種復雜智慧功能時，還是當前人工智能的平臺所無法企及的。
脈沖神經網絡（Spiking Neural Network，SNN）由W.Maass在1997年首次提出，其底層用脈沖函數模仿生物點信號作為神經元之間的信息傳遞方式。SNN的優點是具有更多的生物解釋性，一方面可以作為計算神經學對生物腦現象模擬的基礎工具；另一方面，由于其信息用脈沖傳遞的特點，而非人工神經網絡的二進制數，其結構也容易在FPGA、ASIC等芯片上實現。但是，離散的脈沖函數不可導，因此脈沖信號不能直接應用反向傳播的梯度法進行訓練，是其難以構造復雜網絡而應用受限的主要因素。
2、研究成果
眾所周知，二進制邏輯（布爾代數）中，通常用0和1表示兩個變量值中的一個。二進制邏輯是目前數據計算、信息傳輸的基礎。在計算N*N維的矩陣乘法時，每計算一個矢量元素將需要N^2個加法和乘法！為了減小二進制計算的硬件資源消耗，一種有別于布爾邏輯的概率（邏輯）計算（Stochastic Computing，SC，或Stochastic Logic）在1969年由B. Gaines 提出【1】。
概率計算機中，算術運算是借助于表示數據的邏輯電平的隨機和不相關性來執行的，并且由其“高電平”所占的概率來決定。也就是所發生的“高電平”脈沖的頻率表示其概率值。即遵循古典概型伯努利所證實的“當試驗次數愈來愈大時，頻率接近概率”。概率計算已經在圖像處理、通信、神經網絡和深度學習中被使用【2】。
北京航空航天大學類腦芯片教授李洪革談到：“盡管概率計算比二進制計算存在硬件消耗上的巨大優勢，但其基于脈沖頻率表示概率數值的本質帶來了較大的計算時延的問題。”基于此，本團隊提出了混合概率邏輯計算取代原始單比特流概率計算的思想。在2022年伊始，該思想被國際電路與系統頂會ISCAS和IEEE 權威期刊TVLSI等多位國際專家所認可并全文接收。其中，一位評審專家甚至給出評語是”the paper is nice and should be relevant and can even be influential.”
3、 研究亮點
提出了基于概率邏輯計算與二進制邏輯的混合邏輯計算機制；
構造了混合邏輯計算機制的各計算電路模塊，如圖1、圖2
討論了基于混合邏輯計算的誤差分析和容錯機制，如圖3、4
構建了混合邏輯流的多核類腦計算網絡加速器芯片，如圖5、6.
4、結論展望
北航類腦計算芯片團隊提出了一種新的數字計算（有別于二進制、概率計算）——混合邏輯SC。該方法利用多位流的期望值來取代傳統概率計算。與傳統的單比特流相比，混合邏輯計算突破了傳統SC長時延的制約，實現了低時延和低面積。實驗證明了混合邏輯計算規則的合理性，使用該方法乘法器延遲降低了1/2m，且達到零錯誤計算。對于8-bit輸入數據，混合邏輯作為乘法器的面積效率是經典SC方法的11.3倍。
憑借該技術方案，團隊榮獲全國研究生創芯大賽一等獎，陳宇昊博士補充到。最后，李洪革教授談到，該提案解決了傳統概率計算大時延問題，在未來的類腦計算、人工智能、深度學習和信息處理等邊緣計算產業將會產生影響力的（influential）發展契機。
參考文獻
B. R. Gaines, “Stochastic computing systems,” in Advances in Information Systems Science, J. T. Tou, Ed. New York, NY, USA: Springer, 1969, pp. 37-172.
Hongge Li, Y. Hayakawa, S. Sato, K. Nakajima, “Hardware Implementation of an Inverse Function Delayed Neural Network using Stochastic Logic,” IEICE Trans. Inf. Syst., vol.E89, pp.2572-2578, 2006.
H. Sim , J. Lee, “A new stochastic computing multiplier with application to deep convolutional neural networks,”in Proc. 54th Annu. Design Automat. Conf. (DAC), p. 29, 2017.
D. JENSON, M. RIEDEL. “A deterministic approach to stochastic computation”. ACM International Conference on Computer-Aided Design (ICCAD), 2016:1-8.
YuHao Chen，HongGe Li，“Novel Stochastic Computing using Amplitude and Frequency Pulse Encoding“ ISCAS 2022.
Yuhao Chen，Hongge Li，“Stochastic Computing using Amplitude and Frequency Encoding“ IEEE TVLSI 2022，accepted。
Y Chen, Y. Song, Y. Zhu, Y. Gao, H. Li. “Hardware Architecture of Stochastic Neural Network”. Journal of Frontiers of Computer Science and Technology, 2021: 1-12.
李洪革 北京航空航天大學教授、博士生導師
IEEE\IEICE\SID\CCF\電子學會高級會員；國家多個部委專家；CCF集成電路設計專委會委員、密碼芯片專委會委員等，申請國家專利30余項，其中獲發明專利授權18項。發表論文近百篇，他引300余次，70余篇被SCI、EI和ISTP三大索引收錄，第十屆人工智能大會等特邀報告近10次。承擔科技部、自然基金委等國家項目十余項。出版專著教材4部，獲省部級科技進步、發明獎三項。
研究領域：集成電路芯片設計與智能計算等
陳宇昊 福建泉州, 博士研究生在讀
主要研究方向為人工智能、類腦計算和芯片設計等。設計實現了混合概率邏輯FPGA硬件計算系統，完成了類腦計算FPGA原型機。獲得第四屆全國研究生創芯大賽一等獎。
（其他參與人員：祝亞楠、高云飛、宋印杰、郭曉宇等）
