替代英偉達GPU，亞馬遜如何用自研定制芯片對抗微軟和谷歌？
2023-08-13 11:14:23 EETOP本文由EETOP編譯自CNBC
在德克薩斯州奧斯汀市一棟沒有任何標志的辦公樓里，兩個小房間里有幾名亞馬遜的員工正在設計兩種用于訓練和加速生成式人工智能的微芯片。這些定制芯片，即 Inferentia 和 Trainium，為 AWS 客戶提供了在英偉達（Nvidia）GPU 上訓練大型語言模型的替代方案。
" AWS首席執行官亞當-塞利普斯基（Adam Selipsky）在6月份接受CNBC采訪時表示："整個世界都希望有更多的芯片來做生成式人工智能，無論是GPU還是亞馬遜自己設計的芯片。"我認為，我們比地球上任何其他人都更有能力提供客戶共同需要的能力。"
然而，也有一些公司行動得更快，投資得更多，以便從生成式人工智能的熱潮中搶占商機。當OpenAI 在 去年11 月推出 ChatGPT 時，微軟因為擁有了這個病毒式聊天機器人，并向 OpenAI 投資了 130 億美元，而獲得了廣泛關注。微軟很快將生成式人工智能模型添加到自己的產品中，并于 2 月份將其納入必應（Bing）。
同月，谷歌推出了自己的大語言模型 Bard，隨后又向 OpenAI 的競爭對手 Anthropic 投資了 3 億美元。
直到今年4 月份，亞馬遜才宣布推出自己的大語言模型系列，名為 Titan，以及一項名為 Bedrock 的服務，幫助開發者利用生成式人工智能增強軟件。
"亞馬遜不習慣追逐市場。亞馬遜習慣于創造市場。” Gartner 公司副總裁分析師 Chirag Dekate 說："我認為，這是他們很長時間以來第一次發現自己處于劣勢，他們正在努力迎頭趕上。
Meta 最近也發布了自己的 LLM Llama 2。這款開源的ChatGPT 的競爭對手現在可以在微軟的 Azure 公共云上進行測試。
芯片是 "真正的差異化
Dekate說，從長遠來看，亞馬遜的定制芯片可能會讓它在生成式人工智能領域占據優勢。
他說:“我認為，真正的區別在于他們帶來的技術能力。因為你猜怎么著？微軟沒有Trainium或interentia。”
早在2013年，AWS就悄然開始生產定制芯片，并推出了一款名為Nitro的專用硬件。它現在是AWS產量最高的芯片。亞馬遜告訴CNBC，每臺AWS服務器上都至少有一個，目前使用的總數已超過2000萬。
2015 年，亞馬遜收購了以色列芯片初創公司 Annapurna Labs。然后在 2018 年，亞馬遜推出了基于 Arm 的服務器芯片 Graviton，這是 AMD 和英特爾等巨頭 x86 CPU 的競爭對手。
"Arm可能占服務器總銷售額到10%，其中很大一部分將是亞馬遜的產品。伯恩斯坦研究公司（Bernstein Research）高級分析師斯泰西-拉斯貢（Stacy Rasgon）說："因此，在 CPU 方面，他們的表現相當不錯。
同樣在 2018 年，亞馬遜推出了以人工智能為重點的芯片。這是在谷歌宣布其首個張量處理器單元（Tensor Processor Unit，簡稱 TPU）兩年后。兩年前，谷歌發布了首款張量處理器(Tensor Processor Unit，簡稱TPU)。微軟尚未宣布其正在與AMD合作開發的雅典娜人工智能芯片。
CNBC 對亞馬遜位于德克薩斯州奧斯汀的芯片實驗室進行了幕后參觀，Trainium 和 Inferentia 就是在這里開發和測試的。產品副總裁馬特-伍德（Matt Wood）解釋了這兩款芯片的用途。
“機器學習分為這兩個不同的階段。先訓練機器學習模型，然后對這些訓練過的模型進行推理。”伍德說。“與AWS上任何其他訓練機器學習模型的方式相比，Trainium的性價比提高了約50%。
繼 2019 年發布Inferentia 之后，Trainium 于 2021 年首次投放市場，目前已是第二代產品。
Inferentia允許客戶"提供非常、非常低成本、高吞吐量、低延遲的機器學習推理，也就是當你向生成式人工智能模型輸入一個提示時，所有的預測都會在這里得到處理，從而給出響應，"伍德說。
不過，就目前而言，Nvidia 的GPU 仍然是訓練模型的王者。今年 7 月，AWS 推出了由 Nvidia H100 驅動的新 AI 加速硬件。
"Nvidia芯片擁有一個龐大的軟件生態系統，在過去的15年里，圍繞它建立起來的軟件生態系統是其他公司所沒有的，"Rasgon說。"現在人工智能的最大贏家是Nvidia。"
2023年7月13日，亞馬遜的定制芯片，從左到右，Inferentia, Trainium和Graviton在亞馬遜西雅圖總部展出。
利用云計算的優勢
然而，AWS在云計算領域的主導地位是亞馬遜的一大優勢。
“亞馬遜不需要贏得頭條新聞。亞馬遜已經擁有非常強大的云安裝基礎。他們所需要做的就是弄清楚如何利用生成式人工智能使現有客戶擴展到價值創造運動中。”
當在亞馬遜、谷歌和微軟之間選擇生成式人工智能時，數百萬AWS客戶可能會被亞馬遜吸引，因為他們已經熟悉亞馬遜，在那里運行其他應用程序并存儲數據。
“這是一個速度的問題。AWS技術副總裁Mai-Lan Tomsen Bukovec解釋說:“這些公司能夠多快地開發這些生成式人工智能應用程序，取決于他們首先從AWS中的數據開始，并使用我們提供的計算和機器學習工具。”
根據科技行業研究機構高德納(Gartner)的數據，AWS是全球最大的云計算提供商，到2022年占據40%的市場份額。盡管亞馬遜的營業利潤已經連續三個季度同比下降，但在亞馬遜第二季度77億美元的營業利潤中，AWS仍然占到了70%。從歷史上看，AWS的運營利潤率遠高于谷歌云。
AWS還擁有越來越多的專注于生成式人工智能的開發人員工具組合。
“讓我們把時鐘倒回去，甚至在ChatGPT之前。AWS負責數據庫、分析和機器學習的副總裁斯瓦米?西瓦蘇布拉馬尼安表示:“并不是在那件事發生后，我們突然匆忙想出了一個計劃，因為你不可能在那么短的時間內設計出一個芯片，更不用說在2到3個月內構建一個Bedrock服務了。”
Bedrock可以讓AWS客戶訪問由Anthropic、Stability AI、AI21 Labs和亞馬遜自己的Titan制作的大語言模型。
Sivasubramanian說:“我們不相信一種模式會統治世界，我們希望我們的客戶擁有來自多個供應商的最先進的模型，因為他們會為正確的工作選擇正確的工具。”
2023 年 7 月 25 日，在德克薩斯州奧斯汀的 AWS 芯片實驗室，一名亞馬遜員工穿著印有 AWS 芯片 Inferentia 的夾克，正在研究定制的人工智能芯片。
亞馬遜最新的人工智能產品之一是 AWS HealthScribe，這是 7 月份推出的一項服務，利用生成式人工智能幫助醫生起草病人就診摘要。亞馬遜還有一個機器學習中心 SageMaker，提供算法、模型等。
另一個重要工具是編碼輔助工具CodeWhisperer，亞馬遜稱，它使開發人員完成任務的速度平均提高了57%。去年，微軟也報告稱其編碼工具 GitHub Copilot 提高了工作效率。
今年 6 月，AWS 宣布成立一個價值 1 億美元的生成式人工智能創新中心。
"我們有很多客戶都在說，'我想做生成式人工智能'，但他們不一定知道這對他們自己的業務意味著什么。因此，我們將引入解決方案架構師、工程師、戰略家和數據科學家，與他們進行一對一的合作，"AWS 首席執行官塞利普斯基說。
雖然到目前為止，AWS 主要關注的是工具，而不是構建 ChatGPT 的競爭對手，但最近泄露的一封內部郵件顯示，亞馬遜首席執行官安迪-賈西（Andy Jassy）也在直接監督一個新的中央團隊構建擴展性大語言模型。
在第二季度財報電話會議上，賈西表示，AWS 目前 "非常大的一部分 "業務是由人工智能及其提供的 20 多種機器學習服務驅動的。其中一些客戶包括飛利浦、3M、Old Mutual 和匯豐銀行。
人工智能爆炸式增長的同時，也帶來了大量的安全問題，一些公司擔心員工將專有信息放入公共大語言模型使用的訓練數據中。
"我無法告訴你我接觸過多少家禁止使用 ChatGPT 的財富 500 強公司。因此，有了我們的生成式人工智能方法和 Bedrock 服務，你所做的任何事情，你通過 Bedrock 使用的任何模型，都將在你自己的隔離虛擬私有云環境中進行。它將被加密，并具有相同的 AWS 訪問控制，"Selipsky 說。
目前，亞馬遜只是在加速推動生成式人工智能的發展，它告訴CNBC，目前有 "超過10萬 "的客戶正在AWS上使用機器學習。雖然這只是 AWS 數百萬客戶中的一小部分，但分析師表示，這種情況可能會發生變化。
Dekate說："我們并沒有看到企業說，'哦，等一下，微軟在生成式人工智能方面如此領先，讓我們出去，讓我們改變基礎設施戰略，把一切都遷移到微軟'。"如果你已經是亞馬遜的客戶，那么你很可能會廣泛地探索亞馬遜的生態系統。"
報名提醒：
