大模型引領大算力硬件的“牛市”正來臨!用FPGA實現邊緣端側AI的市場機會及前景
2024-07-03 06:03:58 EETOP 作者：Nancy Zhou隨著大模型的快速的發展，人工智能正在改變嵌入式硬件系統。在今年上海國際嵌入式展的開幕主題報告中，芯原股份董事長兼總裁戴偉民博士分享說：“我們即將迎來新一輪的'牛市'。上一輪，是以2010年iphone4為代表的智能手機，正式開啟移動互聯網'牛市'（2013-2015）。這個時期的特點是先硬后軟。而以ChatGPT為代表的大模型，將引領大算力硬件的'牛市'。這一時期，將是先軟后硬。”
同在今年6月，黃仁勛在COMPUTEX 2024的演講中也預測，未來AI產業規模將高達100萬億美元，比之前IT時代的3萬億美元要高出33萬倍以上。可見市場前景之廣闊。
AI處理重心向邊緣轉移，已經是行業共識。各類端側AI應用，也已開始競相布局。中關村智用人工智能研究院孫明俊院長在嵌入式大會開幕式上表示：“未來三至五年，AI會融入到嵌入系統，并帶來共同的深入改變。在快速推進的背景下，端側的需求會更高。尤其表現在對端側芯片處理能力的需求變化，以及會出現大量專用端側芯片的需求。”
邊緣AI一個非常顯著的特征就是更強的并行計算能力，以及不斷更新的AI算法。而網絡邊緣設備需要AI解決方案能增強實時在線功能，包括更強的情景感知能力、更高的能效、靈活和低延遲的傳感器橋接，以及更低的復雜性和簡化的集成。
AI芯片是其中的關鍵。從技術架構的角度來看，AI芯片可分為GPU、FPGA和ASIC。按網絡位置不同，又可分為云端芯片和邊緣芯片。按應用目標分類，則又可分為訓練芯片和推理芯片。其中，FPGA，因其現場可編輯性的優勢，被譽為“萬能芯片”。那么，在邊緣AI大發展趨勢下，FPGA如何來實現AI。
在此次的嵌入式展上，EETOP深度走訪了FPGA知名供應商萊迪思（Lattice）科技公司，詳細觀摩了他們此次參展的產品及相關Demo，并與萊迪思（Lattice）亞太地區應用工程高級總監謝征帆進行了深入交流。對FPGA在端側的AI實現又有了不少新的發現和認識。
謝征帆, 萊迪思（Lattice）亞太地區應用工程高級總監
Sensor Bridging助力NVIDIA加速邊緣AI應用開發
去年12月，在萊迪思半導體開發者大會上，萊迪思宣布推出新型參考傳感器橋接設計。它是一套開源的參考開發板，基于萊迪思低功耗CertusPro-NX FPGA和NVIDIA Jetson Orin和IGX Orin平臺，通過NVIDIA Holoscan傳感器橋無縫耦合，進行數據采集和處理。
此次嵌入式展上，萊迪思特別用心的從美國運來了與NVIDIA一起聯合開發的demo。據介紹，這個具備Sensor Bridging功能的Demo，主要實現了多路Video通過以太網口匯聚到英偉達基于IGX/AGX平臺的Edge Computing盒子中，以提供更多的視覺輸入。萊迪思提供的FPGA，主要起到“聚合”的功能。傳感器經過FPGA芯片，匯聚成視頻流，再轉換成實際的以太網，最后進入到盒子里。真正實現AI相關功能的，則交由NVIDIA芯片來進行處理。
AI芯片的原理是通過訓練和學習算法，將大量的數據輸入到神經網絡結構中，并對輸入數據進行快速、準確的處理和分析。其中，主要的結構包括輸入層、隱藏層和輸出層。輸入層主要是接收數據，并將其傳遞到隱藏層，隱藏層會通過神經元之間的連接，將信息傳遞到輸出層，最終輸出想要的結果。
那么，用FPGA來實現Sensor的融合，有什么優勢？其中的難點和挑戰又是什么？EETOP就這方面的問題，特別請教了謝征帆。
據他介紹，大部分環境和系統里面，Sensor的數目是不斷地增加的。除了高速的Sensor以外，還有可能有高清的攝像頭輸入，以及紅外或者其它低速的Sensor也需要進行匯集。對于SoC來講，管腳數目是非常大的限制。因為需要連接非常多的外設，它沒有辦法提供多個Sensor接口來直接把這些Sensor匯聚進芯片里。這就需要用FPGA把不同的數據進行先整合，之后再交由芯片對數據進行處理。
Sensor Bridging功能主要是讓客戶能夠拿到更多的視頻流，數據匯聚完之后，通過芯片交給GPU進行處理。謝征帆介紹說：“我們在做這個應用的時候，一個比較大的挑戰就是它的接口協議種類特別多。這就需要在考慮方案的時候，把所有的接口都處理好。除了前端接收需要考慮接口問題外，在往后端傳輸視頻流的時候，也需要適配不同的接口。除了連接，還需要做預處理，做一些簡單的前端ISP處理。具體會根據客戶的需要，來提供不同的預處理方案。”
據了解，萊迪思早在五六年前，就開始著眼于FPGA在AI領域的拓展。目前除了軟件、硬件外，更強調的是解決方案，其中sensAI?是最早提出的。它主要是基于神經網絡來做人臉或者物體檢測，屬于比較早期的階段。后來隨著神經網絡的不斷迭代，網絡結構也越發復雜，并且隨著AI的輸入視頻源越來越多，用GPU來做數據的前期處理，顯然有點大材小用。于是萊迪思開始嘗試用通用的器件來做AI前端的處理。謝征帆特別強調說：“萊迪思的解決方案雖然參與神經網絡的處理，但不做training，只做inference。”
據分享，Sensor Bridging旨在滿足開發人員在設計用于醫療保健、機器人和嵌入式視覺的高性能邊緣AI應用時對連接各種傳感器和接口、設計可擴展性和低延遲的需求，可大幅簡化并加速需要不同傳感器輸入接口和協議的智能邊緣系統的部署。
計算機視覺注意力感知軟件推動生成式AI
AI要通過FPGA來實現的話，除了硬件架構，還需要有好的軟件環境。在萊迪思提供的sensAI?解決方案中，硬件有最新的Avant FPGA，它能夠比 DSP處理更多的數據，并且能夠針對8位的數據類型做優化；軟件有Neural Network Builder 和 Compiler，可以支持非常多的主流AI 架構和機器學習架構。
PC和AI眼鏡是未來邊緣端側的重要載體
在此次展示中，萊迪思通過兩臺PC電腦，展示了多種基于軟件實現的AI功能，如注意力追蹤功能、臉部識別功能、疲勞檢測功能等。Demo演示中，可通過眼神注視來對PC電腦的菜單進行選擇，并且會自動幫忙打開正在注視的文件。謝征帆解說時說：“這完全是基于純軟件的功能，通過觀察瞳孔的方向來幫助實現控制，并提供前端的輸入，最后交由萊迪思Glance軟件提供AI的功能。”
通過利用萊迪思sensAI?技術，PC還可以在用戶接近或離開時自動開機/關機，警告用戶不要圍觀，并通過在用戶分心時調暗屏幕來延長電池壽命 。不過，由于PC受環境影響比較大，精度上有一定干擾。謝征帆介紹：“它屬于早期的預演階段，離真正的產品化還有段距離。不過已經有AI眼鏡的用戶，在嘗試用這個來做原型機，實現AI應用。因為AI眼鏡局部環境相對固定，不會受背景影響，可以提供非常高的精度。通過眼球來進行選擇，可提供更加豐富的控制功能。”
AI眼鏡，被認為是AIGC時代或將引爆市場的終端設備。戴偉民在主題演講中分享了第十三屆芯原CEO論壇對大模型未來給出的五大預測，其中一個就是：到2026年，全球雙目全彩AR眼鏡出貨量將突破1,000萬臺。AIGC，即Artificial Intelligence Generated Content生成式人工智能，是人工智能1.0時代進入2.0時代的重要標志，也是終端設備由+AI轉向AI+的明顯過渡。從2017年6月Google發布論文《Attention is all you need》,首次提出Transformer模型；到2018年6月，OpenAI發布論文《Improving Language Understanding by Generative PreTraining》，首次提出GPT模型；再到2024年2月，OpenAI發布具有突破性的Sora視頻生成模型，支持60秒一鏡到底。不斷迭代創新的算法，多模態大模型都在推動AIGC具備更通用和更強的基礎能力。
從計算智能、感知智能再到認知智能，AIGC為人類社會生產力發展帶來了質的飛躍。戴偉民博士表示：“始終在線”的輕量化智慧可穿戴設備是AIGC的入口。用“始終在線”的輕量級可穿戴設備持續感知視覺、聲音和動作等，并連接到系統，通過上下文意識，來預測用戶的環境、情境和需求。在萊迪思的展臺上，也展示了多個基于感知功能的Demo。
除了AI眼鏡，PC被認為是未來AI的主要載體。因為PC具有強大的計算和存儲能力，豐富的交互方式以及廣泛的應用場景，使其成為適合承載大模型的理想平臺。戴偉民分享說：“PC是承載最多場景的個人通用設備，是迄今為止最強的個人計算平臺，還是存儲容量最大、最受依賴的安全終端，完全具備全模態的人機自然交互能力。”
在萊迪思的展臺上，EETOP小編也看到了基于萊迪思CrosslinkU-NX （LIFCL-33U）芯片搭建的Demo，它可為PC在Sensor后端提供和AI相關的運用，包括為計算機自動解鎖和security保護，同時還包括語音檢測、人臉識別、場景分類、防偷窺等傳統應用。除了更加豐富的用戶體驗之外，低功耗也是一大特色。
攝像頭的輸入只是邊緣端側AI實現的一部分。對智能汽車的監控，則要涉及到更多處理，比如是不是打瞌睡，有沒有分心等，這主要就是DMS疲勞檢測的功能。謝征帆介紹說：“我們的軟件支持多用戶軟件檢測，并且同樣一套網絡可以實現多種內容的檢測追蹤，能夠做一些機器學習之后應用場景其實是很多的。”
萊迪思最近一兩年一直在推廣Local Dimming的方案，它是eDisplay解決方案中的一部分。eDisplay就是所謂的Embedded Display，或者叫Enhanced Display，涉及到所有顯示相關的應用。本次展示區，萊迪思展示了一個Local Dimming局部調光的demo。
眾所周知，LED是由背光板來提供光源的。因此，顯示質量的好壞，很大程度上是取決于背光板的亮度。傳統的做法是背部有一個統一的光源，由于不能根據每一個區域實際的亮度來進行調整，因此屏幕上顏色亮度的分辨差異是非常大的。通常，背光的精度是用分區數目來定義的。如電視機可能分區就是256個。但是對于高端顯示器，比如應用在游戲里面的顯示器，或者針對汽車里面用的，汽車的中控屏或者副駕駛的娛樂屏都會在里面放Local Dimming。Local Dimming把屏幕分割成2048或者幾K的分區，每個分區的后面都會有一個LED來提供背光的亮度。Local Dimming可以把屏幕分成非常小的分區，并且可以支持任意的異形屏，在汽車里的長條或者有弧度的都可以。
此外，Local Dimming除了應用在顯示中，同樣的功能可以遷移到不同的應用場合。當前，越來越多的應用領域轉換到視頻上的管理，以及視頻處理方面。CMS（Camera Monitor System）方案是這兩年汽車領域有很多供應商都開始關注的。傳統意義上，汽車反光鏡是物理的光學反光鏡，會有很大的限制，比如說在雨天，會受到雨水的影響，或者在潮濕天氣，兩邊車窗起霧以后會造成影響，會影響駕駛安全。現在越來越多的車廠考慮用攝像頭來替代物理的光學反光鏡。
那么CMS為什么應用FPGA？謝征帆解說到：“FPGA有幾大優勢，首先最主要的就是低延時。因為反光鏡是實時的，從用戶感知來說，從視頻采集到視頻顯示，需要做到低延時，如幾十毫秒或者更低。如果用MCU或者嵌入式處理器，基本無法達到這個要求。萊迪思的HUD方案則可以提供這樣的效果。”
在AI領域，萊迪思有很多的應用。展示區還有一個農業智能機器的Demo，主要是花椒篩選的色選機方案。工作流程大致是當一批固體落下時，要把和花椒的形狀一致的東西挑選出來。如果判斷不是花椒，則通過氣流將其吹掉。傳統色選機用的是CV方案，精度相對比較低。新的AI的方案，會對可能存在的形狀加標注，之后放到神經網絡里進行訓練，最后再將訓練出來的神經網絡參數放到NN Demo里，就可以實現精準的篩選功能。
謝征帆介紹說，目前這個Demo的原型機已經完成設計，其它豆類或谷物類都可以參照類似方法來實現。而在工業領域PDM應用中，主要是通過AI引擎判斷電機是不是有可能處在早期失效的情況中，可以有效的防患于未然，對整個系統運行的安全性和高可靠性能夠提供幫助。其實，只要涉及到和MCU和嵌入式處理器的應用，就都有機會。
從全球來講，萊迪思的優勢就在于低功耗和小尺寸。在小封裝和低功耗方面，展示區展示了一個內窺鏡的demo，里面有非常小的Image sensor，主要是做接口轉換。從LVDS的接口出來以后，從MIPI的接口到接收板。展示的是早期的demo版，最后產品化會做成非常小的封裝，隨著內窺鏡的探頭進入人體內，所以芯片尺寸要求會非常高。另外，到體內以后還有功耗的問題，所以整個是用萊迪思平臺的芯片提供低功耗的產品。謝征帆表示：“我們和競爭對手相比功耗基本上能降低一半甚至更低，這是從硬件的結構上來講萊迪思是有這個優勢。”
FPGA的生命力挑戰及機會方向
FGPA雖然有“萬能芯片”的美譽，但也存在其自身的局限和市場發展的取舍。比如PC更多還是借助CPU來提供AI功能，因為CPU有足夠多的算力，可以在這上面做非常豐富的AI處理。而FPGA的先發優勢是能夠快速地進入市場，主要是可用來做第一代產品研發或者是高端機產品。一旦AI作為PC標配的話，基本上FPGA就會被ASIC或者SoC所替代。那么FPGA在PC的是否還有足夠的市場機會？可突破的點有哪些？
針對EETOP小編的這些疑問，謝征帆分享說：“還會有一些專有市場或者細分市場。在細分市場，比如電競行業中電競的顯示器，顯示器和主機之間的通信，因為電競PC在性能或某些功能上會有額外的需求，是目前的平臺無法滿足的，這時FPGA就大有用處了。”此外，FPGA+CPU的組合方式，也可以讓PC在功耗和性能之間得到有效平衡。據介紹，萊迪思的FPGA產品主打的就是小尺寸低功耗，平時可以作為始終開啟的芯片做預處理工作，當出現的確需要處理的事情時，才真正喚醒CPU，讓其在后臺做一些更加復雜的工作。
其實，在汽車領域，FPGA也面臨著同樣的問題。最早我們的芯片應用于汽車領域就是用在電機控制，主要是電機操作的控制功能。FPGA可以提供極高的安全性，而電機控制直接涉及到馬達控制，其安全保障的要求是非常高的。但一旦汽車功能模塊在某個領域成熟以后都會被ASIC所替代。不過，汽車領域依然是FPGA非常重要的競技場。謝征帆表示：”我們也看到在汽車領域不斷有新需求出現，FPGA會在不斷涌現的創新領域發光發熱。 當前FPGA很多是應用在視頻過程，在CMS或者Local Dimming，可能是因為在整個汽車里面這部分功能還沒有完全固化下來，比如汽車里面的屏會越來越多，而且屏的位置、功能、方法都不一樣。正是因為這些東西還在研究過程中，所以我們認為FPGA在這里面會有立足之地。”
在萊迪思看來，面向生成式AI有兩個方向，其一是平臺級管理的芯片。生成式AI基于服務器或者基于PC架構都會涉及到平臺管理，而平臺管理中每一個服務平臺都有FPGA平臺管理的CPU，都需要非常精確的時間管理，這些時間管理是沒有辦法用軟的管理，這個是FPGA存在的價值所在。第二是關于安全性。生成式AI會有大量的數據匯集到平臺上，對數據管理包括平臺架構基礎的功能管理，都對安全性提出了更高要求。傳統上是用TPM方式，屬于被動器件，它有個缺點，即需要CPU或者主處理器啟動后再去調用它。在CPU開始工作和啟動TPM之間，就存在一個時間差，黑客很容易利用這個空檔進行攻擊。 萊迪思正在考慮一個方案，叫T-1，思路就是在平臺級CPU或GPU或大顆FPGA工作之前，由T-1芯片先做驗證。
現在FPGA的性能越來越高，提供的都是完整的經過驗證的IP，對開發者來說，就像搭積木一樣，且留給客戶足夠多的冗余空間。并且隨著FPGA變成片上系統之后，硬件開發者再來開發FPGA，已經慢慢轉成系統架構的設計師的角色轉換。因此，從這個角度說，其實FPGA的開發難度又在增加，因為可能你開發的FPGA就是主CPU，開發者對系統的架構要有更多的理解。對于如何感知世界，這取決于多項技術的同時進步，包括嵌入式、算法、感知、視覺等，如何能更好的融合在一起，是當前需要考慮的。
