人工智能正為半導體公司打開最佳機會，如何抓住機遇？
2019-03-14 12:22:01 麥肯錫來源：mckinsey
在過去的幾十年里，軟件一直是高科技的明星，原因很容易理解。通過定義這個時代的改變游戲規則的創新——PC和移動電話，技術堆棧的架構和軟件層實現了幾項重要的進步。在這種環境下，半導體公司處境艱難。盡管他們在芯片設計和制造方面的創新使下一代設備成為可能，但他們只從技術堆棧中獲得了一小部分價值——大約20%到30%用于個人電腦，10%到20%用于移動設備。
但隨著人工智能(AI)的發展，半導體公司的情況可能會有所不同。人工智能通常定義為機器執行與人類思維相關的認知功能的能力，例如感知、推理和學習。許多人工智能應用程序已經獲得了廣泛的關注，包括管理我們家庭的虛擬助手和跟蹤罪犯的面部識別程序。這些不同的解決方案以及其他新興的AI應用程序有一個共同特征：依賴硬件作為創新的核心推動因素，尤其是邏輯和存儲功能。
這一發展對半導體銷售和收入意味著什么?哪些芯片對未來的創新最重要?為了回答這些問題，我們回顧了當前的AI解決方案以及支持它們的技術。我們還研究了整個技術堆棧中半導體公司的機會。我們的分析揭示了價值創造的三個重要發現：
AI可以讓半導體公司從技術堆棧中獲取40%到50%的總價值，這代表了他們幾十年來的最佳機會。
存儲將實現最高增長，但半導體公司將在計算、內存和網絡方面獲得最大價值。
為了避免過去限制價值獲取的錯誤，半導體公司必須采取新的價值創造戰略，專注于為特定行業或“微觀垂直行業”提供定制的端到端解決方案。
通過牢記這些信念，半導體領導者可以創建一個新的人工智能路線圖。本文首先回顧了他們將在技術堆棧中發現的機會，重點關注AI對數據中心和邊緣硬件需求的影響(與自動駕駛汽車等設備一起發生的計算)。然后研究計算、內存、存儲和網絡中的特定機會。本文還討論了幫助半導體公司在AI市場中獲得優勢的新策略，以及他們在計劃下一步時應該考慮的問題。
自20世紀50年代出現以來，AI取得了重大進展，但最近發生了一些最重要的發展，因為開發人員創建了復雜的機器學習(ML)算法，可以處理大型數據集，“從經驗中學習”，并隨著時間的推移而改進。最大的飛躍出現在2010年代，因為深度學習(DL)的進步。深度學習是一種可以處理更廣泛數據的ML，需要人工操作員進行更少的數據預處理，并且通常可以產生更準確的結果。
要了解AI為半導體公司創造機會的原因，請考慮技術堆棧(圖1)。它由9個獨立的層組成，支持AI應用程序的兩個活動：培訓和推理。當開發人員試圖改進培訓和推理時，他們經常遇到與硬件層相關的障礙，包括存儲、內存、邏輯和網絡。通過提供下一代加速器架構，半導體公司可以提高計算效率或促進通過內存和存儲傳輸大型數據集。例如，AI的專用內存帶寬是傳統內存的4.5倍，因此更適合處理AI應用程序所需的大量數據。這種性能的提升是如此之大，以至于許多客戶更愿意支付專用內存所需的更高價格(每GB大約25美元，標準內存大約8美元)。
隨著硬件作為人工智能的差異化因素，半導體公司將發現對現有芯片的更大需求，但他們也可以通過開發新技術獲利(圖表2)。我們創建了一個模型來估計這些AI機會將如何影響收入，并確定AI相關芯片是否會構成未來需求的重要部分。
我們的研究顯示，與AI相關的半導體在未來幾年內每年將增長約18%，比非AI應用中使用的半導體的速度高5倍(圖表3)。到2025年，人工智能相關的半導體可能占所有需求的近20%，這將轉化為約670億美元的收入。數據中心和邊緣都將出現機遇。如果這種增長按預期實現，那么半導體公司的定位將從人工智能技術堆棧中獲得比以前創新所獲得的更多價值，大約占總數的40%到50%。
人工智能將推動存儲的大部分增長，但創造價值的最佳機會在于其他領域
然后，我們進一步分析了半導體廠商在計算、內存、存儲和網絡方面的具體機會。對于每個領域，我們都研究了硬件需求在數據中心和邊緣的演變情況。我們還量化了除網絡之外的每個類別的預期增長，其中與AI相關的價值捕獲機會對于半導體公司而言相對較小。
計算
計算性能依賴于中央處理單元(CPU)和加速器 - 圖形處理單元(GPU)、現場可編程門陣列(FPGA)和專用集成電路(ASIC)。由于每個用例都有不同的計算要求，因此最佳的AI硬件架構會有所不同。例如，與自動駕駛或財務風險分層的應用相比，路線規劃應用對處理速度、硬件接口和其他性能特征有不同的需求(圖表5)。
總體而言，到2025年，對計算硬件的需求將增加約10%至15%(圖表5)。在分析了超過150個DL用例之后，考慮了推理和培訓要求，我們能夠確定架構最有可能在數據中心和邊緣獲得優勢的(圖6)。
數據中心使用情況。大多數計算增長將來自云計算數據中心對AI應用程序的更高需求。在這些位置，GPU現在幾乎用于所有培訓應用程序。我們預計它們很快就會開始失去ASIC的市場份額，直到2025年計算市場在這些解決方案之間平均分配。隨著ASIC進入市場，GPU可能會更加定制化，以滿足DL的需求。除了ASIC和GPU之外，FPGA在未來的AI培訓中也將扮演一個小角色，主要用于必須快速進入市場或需要定制的專業數據中心應用。
因此，CPU現在約占市場的75%。隨著DL應用的發展，它們將被ASIC所取代。同樣，我們預計計算市場將出現幾乎相等的份額，其中CPU占2025年需求的50%，ASIC占40%。
邊緣應用。大多數邊緣訓練現在發生在筆記本電腦和其他個人計算機上，但更多設備可能開始記錄數據并在現場培訓中發揮作用。例如，在石油和天然氣勘探期間，使用的鉆頭會生成與油井地質特征相關的數據，可用于訓練模型。對于加速器，培訓市場目前在CPU和ASIC之間平均分配。然而，在未來，我們預計內置在芯片系統的ASIC將占需求的70%。 FPGA將占需求的約20%，并將用于需要大量定制的應用程序。
在推理方面，大多數邊緣設備現在都依賴于CPU或ASIC，以及一些應用程序，例如需要GPU的自動駕駛汽車。到2025年，我們預計ASIC將占邊緣推理市場的70%左右，GPU占20%。
內存
AI應用程序具有高內存帶寬要求，因為深度神經網絡中的計算層必須盡快將輸入數據傳遞到數千個內核。需要內存 - 通常是動態隨機存取存儲器(DRAM) - 存儲輸入數據、權重模型參數，并在推理和訓練期間執行其他功能。考慮一個被訓練的模型來識別貓的形象。識別過程中的所有中間結果 - 例如顏色、輪廓、紋理 - 需要存儲在內存中，因為模型會對其算法進行微調。鑒于這些要求，AI將為內存市場創造一個強大的機會，其價值預計將從2017年的64億美元增加到2025年的120億美元。
也就是說，由于算法設計的效率，例如略微降低的精度，以及行業放松中的容量限制，內存將看到三個加速器類別的最低年增長率，大約5%到10%。
大多數短期內存增長將來自數據中心對運行AI、ML和DL算法所需的高帶寬DRAM的需求增加。但隨著時間的推移，對邊緣AI內存的需求將會增加，例如，聯網汽車可能需要更多的DRAM。
當前內存通常針對CPU進行了優化，但開發人員現在正在探索新的體系結構。吸引更多興趣的解決方案包括：
高帶寬內存(HBM)。該技術允許AI應用程序以最大速度處理大型數據集，同時最小化功率要求。它允許DL計算處理器通過稱為硅通孔(TSV)的快速連接訪問三維存儲器堆棧。谷歌和英偉達等AI芯片領導者已采用HBM作為首選內存解決方案，盡管它的成本是傳統DRAM每千兆字節的三倍，此舉表明其客戶愿意為昂貴的AI硬件付費以換取性能提升。
片上存儲器。對于DL計算處理器，在DRAM或其他外部存儲器源中存儲和訪問數據所花費的時間，比同一芯片上的存儲器多100倍。當谷歌設計張量處理單元(TPU)，一個專門用于AI的ASIC時，它包含足夠的內存來存儲芯片上的整個模型。Graphcore等初創公司也在增加片上存儲容量，通過一種能最大限度提高人工智能計算速度的新架構，將其提升到普通GPU的1000倍左右。對于大多數應用而言，片上存儲器的成本仍然過高，芯片設計人員必須應對這一挑戰。
存儲
AI應用程序生成大量數據 - 每年大約80EB，預計到2025年將增加到845EB。此外，開發人員現在在AI和DL培訓中使用更多數據，這也增加了存儲需求。這些轉變可能導致從2017年到2025年每年增長25%至30%，這是我們調查的所有領域中最高的增長率。作為回應，制造商將增加存儲加速器的產量，價格取決于供應與需求的同步。
不同于傳統存儲解決方案傾向于在不同的用例中采用一刀切的方法，AI解決方案必須適應不斷變化的需求，而這些解決方案取決于應用程序是用于培訓還是推理。例如，AI培訓系統在改進算法時必須存儲大量數據，但AI推理系統僅存儲可能在將來培訓中有用的輸入數據。總體而言，AI培訓的存儲需求高于推理。
存儲的一個潛在顛覆是新形式的非易失性存儲器(NVM)。新形式的NVM具有介于傳統存儲器(如DRAM)和傳統存儲(如NAND閃存)之間的特性。它們承諾比DRAM更高的密度，比NAND更好的性能，以及比兩者更好的功耗。這些特性將支持新應用，并允許NVM替代其他應用中的DRAM和NAND。這些形式的NVM目前市場規模很小，未來兩年的收入約為10億至20億美元，但預計到2025年其收入將超過100億美元。
NMV類別包括多種技術，所有這些技術在存儲器訪問時間和成本方面都不同，并且都處于不同階段。磁阻隨機存取存儲器(MRAM)具有最低的讀寫延遲，具有超過五年的數據保留和出色的耐用性。但是，它的容量擴展是有限的，使其成為一種昂貴的替代方案，可用于頻繁訪問的緩存而不是長期數據保留解決方案。電阻式隨機存取存儲器(ReRAM)可能會垂直擴展，使其在擴展和成本方面具有優勢，但它具有更慢的延遲和更低的耐用性。相變存儲器(PCM)適合兩者之間，3D XPoint是最著名的例子。在更廣泛采用之前，耐久性和錯誤率將是必須克服的關鍵障礙。
網絡
AI應用程序在培訓期間需要許多服務器，并且數量會隨著時間而增加例如，開發人員只需要一臺服務器來構建初始AI模型，需要不到100臺服務器來改進其結構。但是使用真實數據進行培訓——邏輯上的下一步——可能需要幾百個。自動駕駛模式要求超過140臺服務器在檢測障礙物時達到97%的準確率。
如果連接服務器的網絡速度很慢(通常是這種情況)，它將導致培訓瓶頸。盡管目前大多數提高網絡速度的策略都涉及數據中心硬件，但開發人員正在研究其他選項，包括可以將數據路由到不同方向的可編程交換機。此功能將加速最重要的培訓任務之一：無論何時更新模型參數，都需要在多個服務器之間重新同步輸入權重。使用可編程開關，幾乎可以立即進行重新同步，這可以將訓練速度提高2到10倍。最大的性能提升將來自使用最多服務器的大型AI模型。
改善網絡的另一個選擇是在服務器中使用高速互連。這項技術可以使性能提高三倍，但它的價格也要高出約35%。
很明顯，機會無處不在，但半導體公司并不能保證成功。為了獲取他們應得的價值，他們需要專注于針對特定行業的端到端解決方案(也稱為微垂直解決方案)、生態系統開發，以及遠遠超出改進計算、內存和網絡技術的創新。
客戶將重視微垂直的端到端解決方案，從而獲得強大的投資回報
AI硬件解決方案僅在與技術堆棧的所有其他層兼容時才有用，包括服務層中的解決方案和用例。半導體公司可以采取兩條途徑來實現這一目標，還有一些已經開始這樣做了。首先，他們可以與合作伙伴合作開發用于行業特定用例(例如石油和天然氣勘探)的AI硬件，以創建端到端解決方案。例如，Mythic開發了一種ASIC，以支持醫療保健和軍事行業中圖像和語音識別應用的邊緣推斷。或者，半導體公司可以專注于開發人工智能硬件，以實現廣泛的跨行業解決方案，就像英偉達開發GPU一樣。
所采用的路徑將因細分行業而異。對于內存和存儲播放器，解決方案往往在微觀垂直上具有相同的技術要求。相比之下，在計算中，AI算法要求可能會有很大差異。自動駕駛汽車中的邊緣加速器必須處理依賴于云的語言翻譯應用程序的大量不同數據。在這種情況下，公司不能依賴其他參與者來構建與其硬件兼容的堆棧的其他層。
積極參與生態系統對成功至關重要
半導體公司需要創建一個軟件開發者生態系統，通過提供具有廣泛吸引力的產品來選擇他們的硬件。作為回報，他們將對設計選擇產生更大的影響。例如，喜歡某種硬件的開發人員將在構建應用程序時將其作為起點。然后他們將尋找與其兼容的其他組件。
為了幫助將軟件開發人員納入其生態系統，半導體公司應盡可能降低復雜性。由于現在有比以往更多類型的AI硬件，包括新的加速器，參與者應該提供簡單的界面和軟件平臺功能。例如，英偉達為開發人員提供計算統一設備架構，一種可與多種編程語言協同工作的并行計算平臺和應用程序編程接口(API)。它允許軟件開發人員使用支持統一計算設備架構的GPU進行通用處理。
在具有重要戰略意義的行業領域，英偉達還提供定制的軟件開發套件。例如，為了幫助開發自動駕駛汽車的軟件，英偉達創建了DriveWorks，這是一個帶有現成軟件工具的套件，包括對象檢測庫，可以幫助應用程序解釋汽車自動駕駛時攝像頭和傳感器的數據。
隨著開發人員社區對某些硬件架構的偏好不斷增強，半導體公司的知名度將大幅提升，從而獲得更好的品牌認知度。他們還將看到更高的采用率和更高的客戶忠誠度，從而產生持久的價值。
只有為最終用戶增加真正價值的平臺才能與大型高科技參與者的綜合產品競爭，例如谷歌的TensorFlow，ML和DL模型和算法的開源庫。 TensorFlow支持谷歌的核心產品，如谷歌翻譯，也有助于公司鞏固其在AI技術堆棧中的地位，因為TensorFlow兼容多個計算加速器
創新至關重要，參與者必須奮力一搏
許多想要啟用AI創新的硬件廠商專注于改進計算過程。傳統上，該策略涉及通過內存、存儲和網絡創新提供優化的計算加速器或簡化計算和數據之間的路徑。但是硬件參與者應該跨越這些步驟，并通過升級來尋求其他形式的創新。例如，智能手機上用于安全認證的基于人工智能的面部識別系統，是由專用軟件和三維傳感器實現，該三維傳感器投射數千個不可見的點以捕獲用戶臉部的幾何圖。由于這些點比攝像機的數百萬像素更容易處理，因此這些認證系統只需幾分之一秒即可完成，并且不會干擾用戶體驗。硬件公司還可以考慮傳感器或其他創新技術如何實現新興的AI用例。
在人工智能領域率先行動的半導體公司將更有可能吸引并留住客戶和生態系統合作伙伴，這可能會阻止后來者在市場上取得領先地位。隨著主要的科技公司和初創企業現在都在人工智能硬件領域展開獨立努力，未來幾年，押注的機會窗口將迅速縮小。現在要制定一個強有力的戰略，他們應該關注三個問題:
在哪里大展拳腳?制定重點戰略的第一步涉及確定目標行業微觀垂直市場和人工智能用例。在最基本的層面上，這包括評估不同垂直領域的機會大小，以及AI解決方案可以消除的特定痛點。在技術方面，公司應該決定是將重點放在數據中心的硬件上，還是放在邊緣。
怎么行動?在向市場推出新的解決方案時，半導體公司應采用合作伙伴的思維模式，因為他們可能通過與特定行業的老牌企業合作獲得競爭優勢。他們還應該確定哪種組織結構最適合他們的業務。在某些情況下，他們可能希望為所有行業創建專注于某些功能(如R&D)的組。或者，他們可以讓團隊專門選擇微垂直領域，讓他們發展專業技能。
什么時候行動?許多公司可能會試圖進入AI市場，但跟風的成本很高，尤其是DL應用程序。此外，隨著行業采用特定的AI標準并期望所有參與者都遵守這些標準，進入壁壘將會增加。雖然快速進入可能是某些公司的最佳方法，但其他公司可能希望采取更加謹慎的方法，即隨著時間的推移慢慢增加對特定微觀領域的投資。
AI和DL革命為半導體行業提供了幾十年來創造價值的最佳機會。 硬件可以成為決定先進應用是否進入市場并引起關注的差異化因素。 隨著人工智能的發展，硬件需求將轉變為計算、內存、存儲和網絡，這將轉化為不同的需求模式。 最好的半導體公司將了解這些趨勢并追求創新，幫助將AI硬件提升到一個新的水平。 除了有利于他們的盈利外，他們還將成為人工智能應用改變世界的驅動力。
