關于生成式AI的 11 個誤區
2023-12-12 11:45:16 EETOP不對。CPU 不具備完成任務的性能。GPU 具有標稱性能，但效率較低，導致可交付速度僅為標稱規格的一小部分。FPGA 不太適合這項工作。針對特定任務定制的定制 ASIC 是唯一可行的解決方案。
原則上，可以使用相同的 GenAI 處理器來訓練和推斷模型。現實情況是，訓練和推理是兩項具有獨特屬性的不同任務。雖然模型訓練和推理具有相同的性能要求，但它們在其他四個特征上有所不同：內存、延遲、功耗和成本（表 1）。
表 1：算法訓練和推理具有一些但并非全部關鍵屬性。
獨特的屬性集導致 GenAI 處理器具有相當不同的特性。通常，模型訓練是在基于大量最先進 GPU 陣列構建的廣泛計算場上進行的。它們運行數天，消耗大量電力，成本高達數千億美元。
真正的問題在于邊緣的推理。如今，Edge GenAI 處理器只能執行針對特定任務定制的模型。沒有 GenAI 硬件能夠對完整的 GPT-4 進行干擾。
雖然這對于某些自定義實現來說可能是正確的，但對于實際解決方案來說卻并非如此。理想的解決方案必須是可編程的，以允許現場升級。一般來說，人工智能，特別是 GenAI 都是不斷進化的努力。今天的尖端人工智能算法明天就會過時。新的更大、更強大的算法將取代它們。昂貴的硬件解決方案必須能夠在現場升級至少三年。
現實恰恰相反。數據處理比移動數據消耗更少的能量。斯坦福大學 Mark Horowitz 教授領導的一項研究以數字顯示，CMOS IC 的功耗主要由數據移動而非數據處理決定（表 2）.
表 2：這些表比較了簡單算術運算符與內存訪問的能耗
存儲器訪問的功耗比基本數字邏輯消耗的能量多幾個數量級。加法器和乘法器的功耗從使用整數運算時的不到一皮焦耳到處理浮點運算時的幾皮焦耳。
相比之下，在 DRAM 中訪問數據時，訪問高速緩存中的數據所花費的能量會躍升一個數量級，達到 20-100 皮焦耳，并且會躍升三個數量級，達到超過 1,000 皮焦耳。AI 和 GenAI 處理器是以數據移動為主的設計示例。
5. 由于算法工程師學會了如何在不影響功能的前提下縮小模型的尺寸，大型語言模型（LLM）正在不斷演進，更新的版本比前幾代更小
其實不然。自幾年前谷歌研究團隊創建 LLM 以來，LLM 一直在不斷改進，并在這個過程中變得越來越大。這一趨勢仍在繼續，并對計算硬件提出了挑戰。為了減輕硬件設計團隊的壓力，軟件建模團隊設計了更小的模型，以解決狹小應用中的特定任務。
6. 創建 LLM 只是一種軟件建模工作，并不需要特殊技能
在最近舉行的 "2023 高效生成式人工智能峰會 "上，一位小組成員表示，世界上可能有 100 名軟件設計師具備設計高效 LLM 的才能。從這位專家的觀點來看，LLM 的開發既是一種藝術構思，也是一種工程設計，需要具備當今并不豐富的獨特技能。
7. 單個 LLM 將定義所有用例
這可能是每個 LLM 開發團隊的夢想，但事實上，這樣的目標可能永遠無法實現。如果一個 LLM 可以在金融、法律、醫療、科學、工業、商業、教育等領域的所有應用中用于文本生成和圖像/視頻/音樂創作，那么這個模型將是一個天文數字。要設計出這樣的模型并不現實，而且幾乎不可能訓練和部署。
8. GenAI 對所有語言都有效
一般來說，GenAI 模型在特定語言上進行訓練，然后在相同的語言環境中部署推理。迄今為止，開發語言一直是英語，但也有其他語言的版本，如主要的歐洲和亞洲語言。
原則上，總是可以用任何語言訓練然后部署模型，但徹底訓練模型所需的源數據可能不足。
人工智能建立在統計基礎上，而非確定性基礎上。GenAI 的反應包含一定程度的不確定性。它們應該在“可能”正確的基礎上被接受。他們通常是正確的；他們犯錯的情況并不常見。忽視 GenAI 應用程序的人應該始終以批判性的心態評估響應。
10. GenAI 能否取代人類的創造力和創新力？
完全不能。正如在對誤解 8 的回答中所述，GenAI 的反應必須由對 GenAI 應用的特定領域有深入了解的人類進行評估。忽視評估可能會帶來麻煩，最終危及整個國家的機構，破壞教育，助長剽竊行為。
盡管如此，GenAI仍有提高人類生產力的潛力。麥肯錫在 2023 年 6 月發布的一份題為 "生成式人工智能的經濟潛力 "的報告中指出，生成式人工智能每年可為全球經濟增加高達 4.4 萬億美元的收入，涉及 63 個分析用例。如果再加上將生成式人工智能嵌入目前用于這些用例之外的其他任務的軟件所產生的影響，估計值可能會翻倍。
GenAI 的確很新，但風險不大。認為人類會因為 GenAI 偏離軌道而消失是一種誤解。這種擔憂源于博主、研究人員等報道的一些 "聊天機器人威脅要毀滅人類 "的消息。
