可以編寫文本段落或繪制看起來像人類創建的圖片的軟件已經在技術行業掀起了淘金熱。像微軟和谷歌這樣的公司正在努力將尖端人工智能集成到他們的搜索引擎中，因為 OpenAI 和 Stable Diffusion 等價值數十億美元的競爭對手競相領先并向公眾發布他們的軟件。驅動其中許多應用程序的是一塊價值約 10,000 美元的芯片，它已成為人工智能行業最關鍵的工具之一：Nvidia A100。A100 目前已成為人工智能專業人士的“主力”，Nathan Benaich 說，根據 New Street Research 的數據，Nvidia(英偉達) 占據了可用于機器學習的圖形處理器市場的 95%。A100 非常適合支持ChatGPT、Bing AI或Stable Diffusion等工具的機器學習模型。它能夠同時執行許多簡單的計算，這對于訓練和使用神經網絡模型很重要。A100 背后的技術最初用于在游戲中渲染復雜的 3D 圖形。它通常被稱為圖形處理器或 GPU，但如今 Nvidia 的 A100 配置和目標是機器學習任務，并在數據中心運行，而不是在游戲 PC 中運行。開發聊天機器人和圖像生成器等軟件的大公司或初創公司需要數百或數千個 Nvidia 芯片，要么自行購買，要么從云提供商處安全訪問計算機。需要數百個 GPU來訓練人工智能模型，例如大型語言模型。這些芯片需要足夠強大以快速處理數 TB 級的數據以識別模式。之后，還需要像 A100 這樣的 GPU 進行“推理”，或使用模型生成文本、進行預測或識別照片中的對象。這意味著 AI 公司需要獲得大量 A100芯片。該領域的一些企業家甚至將他們獲得的 A100 數量視為進步的標志。“一年前，我們有 32 臺 A100，”Stability AI 首席執行官 Emad Mostaque在一月份的推特上寫道。Stability AI 是幫助開發 Stable Diffusion 的公司，Stable Diffusion 是去年秋天引起關注的圖像生成器，據報道其估值超過10 億美元。根據 State of AI 報告的一項估計，Stability AI 現在可以使用超過 5,400 個A100 GPU ，該報告繪制并跟蹤了哪些公司和大學擁有最多的 A100 GPU——盡管它不包括云提供商，它們不公開公布他們的數字。Nvidia 將從 AI 炒作周期中受益。在周三公布的第四財季財報中，盡管整體銷售額下降了 21%，但投資者在周四將該股推高了約 14%，總市值為5821億美元，是英特爾總市值的5倍還多。這主要是因為該公司的 AI 芯片業務——數據中心——增長了 11% 至超過 36 億美元本季度銷售額呈現持續增長態勢。到 2023 年為止，Nvidia 的股價上漲了 65%，超過了標準普爾 500 指數和其他半導體股票。Nvidia 首席執行官黃仁勛周三在與分析師的電話會議上不停地談論人工智能，暗示最近人工智能的繁榮是公司戰略的核心。“圍繞我們構建的人工智能基礎設施的活動，以及圍繞使用 Hopper 和 Ampere 影響大型語言模型的推理活動，在過去 60 天里剛剛爆發，” 黃說。“毫無疑問，由于過去 60 天、90 天，我們對今年的看法在進入新一年時已經發生了相當大的變化。”Ampere 是 Nvidia 對 A100 代芯片的代號。Hopper是新一代的代號，包括最近開始出貨的H100。
與其他類型的軟件（如網頁服務）相比，它偶爾會以微秒為單位突發性地使用處理能力，而機器學習任務可能會占用整個計算機的處理能力，有時長達數小時或數天。這意味著發現自己擁有熱門 AI 產品的公司通常需要購買更多 GPU 來處理高峰期或改進他們的模型。這些 GPU 并不便宜。除了可以插入現有服務器的卡上的單個 A100 之外，許多數據中心還使用一個包含八個 A100 GPU 協同工作的系統。該系統是 Nvidia 的DGX A100，建議售價接近 200,000 美元，但它配備了所需的芯片。周三，Nvidia 表示將直接出售對 DGX 系統的云訪問，這可能會降低修補匠和研究人員的入門成本。例如，New Street Research 的一項估計發現，Bing 搜索中基于 OpenAI 的 ChatGPT 模型可能需要 8 個 GPU 才能在不到一秒的時間內響應問題。按照這個速度，微軟將需要超過 20,000 臺 8-GPU 服務器才能將 Bing 中的模型部署給每個人，這表明微軟的功能可能需要 40 億美元的基礎設施支出。“如果你來自微軟，并且你想擴大規模，以 Bing 的規模，那可能是 40 億美元。如果你想像谷歌這樣每天服務 8 或 90 億次查詢的規模進行擴展，你實際上需要在 DGX 上花費 800 億美元。” New Street Research 的技術分析師 Antoine Chkaiban 說。“我們得出的數字是巨大的。但它們只是反映了這樣一個事實，即每個使用如此龐大的語言模型的用戶在使用它時都需要一臺大型超級計算機。”根據 Stability AI 在線發布的信息，最新版本的圖像生成器 Stable Diffusion 在256 個 A100 GPU或 32 臺機器上進行了訓練，每臺機器有 8 個 A100，總計 200,000 個計算小時。Stability AI 首席執行官莫斯塔克在 Twitter 上表示，以市場價格計算，僅訓練模型就花費了 60 萬美元，并在推特交流中暗示，與競爭對手相比，這個價格異常便宜。這還不包括“推理”或部署模型的成本。Nvidia 首席執行官黃仁勛在接受 CNBC 的 Katie Tarasov 采訪時表示，就這些模型所需的計算量而言，該公司的產品實際上并不昂貴。“我們將原本價值 10 億美元的運行 CPU 的數據中心縮小為 1 億美元的數據中心，” 黃說。“現在，1 億美元，當你把它放在云端并由 100 家公司共享時，幾乎不算什么。”黃表示，Nvidia 的 GPU 允許初創公司以比使用傳統計算機處理器低得多的成本訓練模型。“現在你可以用 10 到 2000 萬美元構建一個大型語言模型，比如 GPT，”Huang 說。“這真的非常實惠。”盡管如此，根據《人工智能計算現狀》報告，"人工智能硬件仍然強烈地鞏固了英偉達的地位"。截至12月，超過21,000篇開源AI論文表示他們使用了英偉達芯片。AI 計算指數現狀中的大多數研究人員使用的是 Nvidia 于 2017 年推出的芯片 V100，但 A100 在 2022 年迅速增長，成為第三大使用最多的 Nvidia 芯片，僅次于原本用于游戲的1500美元或更少的消費圖形芯片。A100 最激烈的競爭可能是它的繼任者。A100 于 2020 年首次推出，在芯片周期的永恒之前。2022 年推出的 H100 開始量產——事實上，Nvidia 在截至 1 月份的季度中記錄的 H100 芯片收入高于 A100，盡管 H100 的單價更高。Nvidia表示，H100是其數據中心第一個針對transformer進行優化的GPU, transformer是許多最新和頂級AI應用程序使用的越來越重要的技術。英偉達周三表示，它希望讓人工智能訓練速度提高100萬倍以上。這可能意味著，人工智能公司最終將不需要這么多英偉達芯片。
