這種新型存儲設備通過調整其電阻水平來以模擬形式存儲數據,即以連續規模存儲數據,而不是以數字存儲器的二進制 1 和 0。而且因為信息存儲在存儲單元的電導中,所以可以通過簡單地讓電壓通過所有存儲單元并讓系統通過物理方法來執行計算。
負責該項目的 IBM Research 博士后研究員 Stefano Ambrogio 在此前接受 Singularity Hub 采訪時說:「我們可以在一個比
GPU 更快的系統上進行訓練,但如果訓練操作不夠精確,那就沒用。目前為止,還沒有證據表明使用這些新型設備和使用
GPU 一樣精確?!?/div>
但隨著研究的進展,新技術展現了實力。在上周發表在《自然》雜志上的一篇論文中(Equivalent-accuracy accelerated neural-network training using analogue memory),Ambrogio 和他的同事們描述了如何利用全新的模擬存儲器和更傳統的電子元件組合來制造一個
芯片,該
芯片在運行速度更快、能耗更少的情況下與
GPU 的精確度相匹配。
這些新的存儲技術難以訓練深層神經網絡的原因是,這個過程需要對每個神經元的權重進行上下數千次的刺激,直到網絡完全對齊。Ambrogio 說,改變這些設備的電阻需要重新配置它們的原子結構,而這個過程每次都不相同。刺激的力度也并不總是完全相同,這導致神經元權重不精確的調節。
研究人員創造了「突觸單元」來解決這個問題,每個單元都對應網絡中的單個神經元,既有長期記憶,也有短期記憶。每個單元由一對相變存儲器 ( PCM ) 單元和三個晶體管和一個電容器的組合構成,相變存儲器單元將重量數據存儲在其電阻中,電容器將重量數據存儲為電荷。
PCM 是一種「非易失性存儲器」,意味著即使沒有外部
電源,它也保留存儲的信息,而電容器是「易失性的」,因此只能保持其電荷幾毫秒。但電容器沒有 PCM 器件的可變性,因此可以快速準確地編程。
當神經網絡經過圖片訓練后可以進行分類任務時,只有電容器權重被更新了。在觀察了數千張圖片之后,權重會被傳輸到 PCM 單元以長期存儲。
PCM 的可變性意味著權重數據的傳遞可能仍然會存在錯誤,但因為單元只是偶爾更新,因此在不增加太多復雜性的情況下系統可以再次檢查導率?!溉绻苯釉?PCM 單元上進行訓練,就不可行了?!笰mbrogio 表示。
為了
測試新設備,研究人員在一系列流行的圖像識別基準中訓練了他們的神經網絡,并實現了與谷歌的神經網絡框架 TensorFlow 相媲美的精確度。但更重要的是,他們預測最終構建出的
芯片可以達到
GPU 280 倍的能源效率,并在同樣平方毫米面積上實現 100 倍的算力。
值得注意的是,研究人員目前還沒有構建出完整的
芯片。在使用 PCM 單元進行
測試時,其他硬件組件是由計算機模擬的。Ambrogio 表示研究人員希望在花費大量精力構建完整
芯片之前檢查方案的可行性。
他們使用了真實的 PCM 設備——因為這方面的模擬不甚可靠,而其他組件的模擬技術已經成熟。研究人員對基于這種設計構建完整
芯片非常有信心。
「它目前只能在全連接神經網絡上與
GPU 競爭,在這種網絡中,每個神經元都連接到前一層的相應神經元上,」Ambrogio 表示?!冈趯嵺`中,很多神經網絡并不是全連接的,或者只有部分層是全連接的?!?/div>
交叉開關非易失性存儲器陣列可以通過在數據位置執行計算來加速全連接神經網絡的訓練。圖片來源:IBM Research
Ambrogio 認為最終的
芯片會被設計為與
GPU 協同工作的形式,以處理全連接層的計算,同時執行其他任務。他還認為處理全連接層的有效方法可以被擴展到其它更廣泛的領域。
Ambrogio 表示主要有兩種方向的應用:將
AI 引入個人設備,以及提高數據中心的運行效率。其中后者是科技巨頭關注的重點——這些公司的服務器運營成本一直居高不下。
在個人設備中直接實現
人工智能可以免去將數據傳向云端造成的隱私性顧慮,但 Ambrogio 認為其更具吸引力的優勢在于創造個性化的
AI。
「在未來,神經網絡應用在你的手機和自動駕駛
汽車中也可以持續地學習經驗,」他說道。「想象一下:你的電話可以和你交談,并且可以識別你的聲音并進行個性化;或者你的
汽車可以根據你的駕駛習慣進行個性化調整。」