華人科學家主導！AI新算法問世，能耗狂降95%，GPU或面臨重新設計！
2024-10-18 11:47:51 EETOP近期，美國麻省理工學院研究科學家、初創公司 BitEnergy AI 創始人羅鴻胤和合作者提出了一種名為線性復雜度乘法（L-Mul，linear-complexity multiplication）的算法，可以將 AI 應用的能源需求減少 95% 。
僅舉一個例子，ChatGPT 現在每天需要大約 564 MWh(56.4萬度)，足以為 18,000 個美國家庭供電。隨著科學的不斷進步和此類應用變得越來越流行，批評者認為 AI 應用可能在短短幾年內每年使用約 100 TWh(1億MWh)，與比特幣挖礦操作相當。
在這項新工作中，BitEnergy AI 的團隊聲稱他們已經找到了一種方法，可以大幅減少運行 AI 應用所需的計算量，而不會導致性能降低。
這種新技術相對簡單——它不再使用復雜的浮點乘法（FPM），而是使用整數加法。應用程序通常使用 FPM 來處理非常大或非常小的數字，允許應用程序以極高的精度進行計算。然而，FPM 也是 AI 計算中最耗能的部分。
IEEE 754 中定義的 16 位、8 位浮點數以及用于張量計算的各種硬件，以及 16 位整數。
研究人員將他們的新方法稱為線性復雜度乘法，它通過使用整數加法來近似 FPM。他們聲稱，到目前為止，測試表明，新方法減少了 95% 的電力需求。
它有一個缺點是它需要與當前使用的硬件不同的硬件。但研究團隊還指出，新型硬件已經設計、構建和測試完畢。
然而，此類硬件的許可方式仍不清楚——目前，GPU 制造商 Nvidia 主導著 AI 硬件市場。Nvidia 對這項新技術的反應可能會對其推廣速度產生重大影響，前提是該公司的說法得到驗證。
論文作者簡介：
羅鴻胤在清華大學獲得學士學位，師從劉知遠教授和孫茂松教授。2022 年在麻省理工學院電子工程與計算機科學系獲得博士學位，研究方向為語言模型的自我訓練。畢業后，他留校繼續擔任博士后和研究員。
此前，他構建了一個參數量僅為 3.5 億的小模型，該模型完全使用合成數據訓練，并在文本分類任務性能方面的表現超過了擁有 1750 億參數量級的 GPT-3[2]。之后，他致力于將這種效率提升方法轉移到生成模型。
圖丨羅鴻胤（來源：羅鴻胤）
目前，羅鴻胤主要聚焦于提高 AI 的效率和推理能力兩個方向。
在效率方面，他特別關注將大模型的建模粒度從向量深入到比特層面，通過模型架構與計算架構的協同設計提升 AI 效率；在推理能力方面，他關注模型的編程能力和容錯能力。
羅鴻胤表示：“編程可以讓模型通過復用推理過程提升效率，而容錯能力則使得模型能夠一次性輸出，減少重復推理的次數，從而節省計算資源。”
在未來的階段，他計劃在可編程陣列邏輯（FPGA，Field Programmable Gate Array）平臺進行仿真研究，對數值計算變化后能耗的具體降低程度進行確認，以提供準確的數據支持。
“我們的長期目標是希望通過數值計算研究，解決大模型的各種特性和目前面臨的相關挑戰，從而促進大模型效率的指數級提高。”羅鴻胤說道。
