瑞薩電子推出用于未來無人駕駛汽車運算系統SoC的新型視頻處理電路模塊
2016-02-17 20:07:13 未知瑞薩電子株式會社（TSE：6723）今日宣布推出用于未來無人駕駛汽車運算系統SoC（SoC）的新型視頻處理電路模塊。
無人駕駛汽車運算系統SoC應結合車載信息娛樂系統和安全駕駛輔助系統兩個系統的功能，并能對這兩個系統進行平行操作。需特別指出的是，安全駕駛輔助系統必須能夠低延遲地處理來自車載攝像頭的視頻數據，并及時把適當的信息通知駕駛員。車載信息娛樂系統和安全駕駛輔助系統的研發者所面臨的一個問題是需要無延遲并穩定地處理大量的視頻數據并運行無人駕駛車輛的控制功能。
新研發的視頻處理電路模塊用低延遲的方式進行車載攝像頭視頻的處理。它可以低功耗地對大量視頻數據進行實時視頻處理，并不對CPU和圖形處理單元（GPU）增加任何額外的負荷，這有利于對無人駕駛車輛的控制。瑞薩采用16納米FinFET工藝研發出新的視頻處理電路模塊原型。除了車載攝像頭視頻的70 ms延時處理功能，它還提供了業內領先的僅197mW功耗的全高清12路視頻處理功能。
最近，預示未來將出現無人駕駛車輛的車載信息娛樂系統（如汽車導航系統和高級駕駛員輔助系統(ADAS)）已取得顯著的進展，讓這些系統更有可能成為結合車載信息娛樂系統和安全駕駛輔助系統兩者功能的汽車運算系統。
安全駕駛輔助系統預計將在從車載攝像頭傳輸過來的視頻的基礎上進行認知處理，如識別障礙、監測駕駛員的狀態及預測和避免危險。隨著如瑞薩的R-Car T2車載攝像頭網絡SoC等設備的出現，我們可以預見從車載攝像頭傳輸過來的視頻數據將被編碼形成視頻流，而安全駕駛輔助系統則必須解碼所接收到的視頻流。為了正確地使用廣角攝像頭提供的圖像進行認知處理，必須對視頻數據進行處理以校正失真。視頻處理要求實現低延遲功能，使這一系統能夠及時地把適當的信息通知駕駛員。
另一方面，車載信息娛樂系統能夠與多種設備和服務交互操作（包括智能電話和云服務），因此系統中被輸入大量外部視頻信號源的數據。同時，配備多個內部顯示器（包括后座監視器）的車輛變得越來越普遍。這意味著該系統必須能夠處理同時顯示的多個視頻信號。車載信息娛樂系統必須具有足夠的實時處理和顯示大量的視頻數據的性能。
新研發的視頻處理電路模塊能夠低延遲地解碼車載攝像頭傳輸過來的視頻流并進行失真校正。它實時并低功耗地進行汽車運算系統所要求的復雜的視頻處理，但并不對承擔認知處理任務的CPU和GPU增加任何額外負荷。
新研發技術的主要特點：
（1）與流水線操作相結合，對視頻處理器進行同步操作以實現70ms延時視頻解碼和失真校正
視頻編解碼處理基本上由解析處理和圖像處理構成，其中解析處理的處理性能取決于編碼數據流的量，圖像處理的處理性能取決于圖像分辨率。新型視頻處理電路模塊采用一個用于解析處理的流處理器和一個用于圖像處理的編解碼處理器來實現視頻編碼和解碼。由于車載信息娛樂系統所處理的典型視頻流數據的大小在不同視頻幀之間差異較大，因此處理性能取決于解碼數據流大小的流處理器所需的處理時間在不同視頻幀之間也差異很大。另一方面，處理性能取決于圖像分辨率的編解碼器所需的處理時間在每個視頻幀中都是相同的。因此，必須對流處理器和編解碼處理器進行異步操作，但這會導致嚴重的延時從而產生問題。
新研發的視頻處理電路模塊設有同步運行模式，該模式利用了流處理器和編解碼處理器之間的FIFO，并能夠在視頻幀間隔之間處理大致相同量的視頻流數據，與安全駕駛輔助系統所期望的情況相同。它還設有一個機制，在這個機制中每當視頻幀處理期間完成一個16行的或其倍數的處理時，編解碼處理器就會輸送一個中斷到CPU，從而允許失真校正在稍后的階段內開啟而無須等到視頻幀處理完全結束。這一同步操作和不完全視頻幀流水線操作的結合實現了從視頻流的接收到視頻解碼和失真校正的完成僅為70ms的低延遲（比采用28納米工藝的現有瑞薩設備降低了40%）。
（2）汽車運算系統優化后的六種不同類型的17個視頻處理器，提供業內領先的全高清12路性能新型視頻處理電路模塊集成了六種不同類型的17個視頻處理器，在不對CPU和GPU增加任何額外負荷的情況下實現實時和低功耗的視頻處理。流處理器和編解碼處理器處理視頻編碼和解碼，渲染處理器進行失真校正，視頻處理器進行一般的圖像處理，混合處理器進行圖像合成，顯示處理器進行屏幕上圖像顯示的處理。各視頻處理器通過多級總線相互連接。
視頻處理電路模塊原型采用尖端的16納米FinFET工藝制作并由這些視頻處理器組成，經過對這一模塊原型的評估，證明其實現了真正業內領先的全高清12路的性能（比采用28納米工藝的瑞薩現有設備提高了約3倍）。
（3）兩種類型的數據壓縮的結合，即無損壓縮和有損壓縮，以業內領先的197 mW低功耗減少50％的內存帶寬、實現全高清12路處理當進行全高清12路視頻所需的大規模視頻處理時，數據訪問是存儲器性能瓶頸和功耗的主要來源。此外，在汽車運算系統中有必要將視頻處理所占用的存儲器帶寬最小化，避免對CPU和GPU的認知處理產生干擾。避免對必須保持較高安全級別的安全駕駛輔助系統造成影響是至關重要的。
由此，存儲在存儲器中的圖像數據被壓縮以減少存儲器帶寬使用率。無損壓縮不會改變在較大硅片中的像素值和結果，而有損壓縮會改變在較小的硅片中的像素值和結果，因此針對圖像處理的特性，用一種適當的方式使用無損壓縮和有損壓縮，就有可能在一個典型的視頻處理流程中減少50%的存儲器帶寬。特別是，當訪問較小的存儲器模塊時存儲器訪問效率會降低，這意味著存儲器帶寬并沒有被有效降低，為了避免DDR存儲器的這一特有問題，高速緩存被用于視頻解碼，這就包括對小數據模塊的大量訪問。這使得增加DDR存儲器的訪問容量和減少70%的有效存儲器帶寬成為可能。對采用尖端的16納米FinFET工藝制作的原型進行評估的結果顯示，降低存儲器帶寬能夠減少20%的功耗，這與總線上的數據處理量成正比，實現了真正業內領先的197 mW全高清12路功耗（比采用28納米工藝的現有瑞薩設備降低了60%）。
新研發的視頻處理電路模塊可在不對CPU和GPU增加任何額外負荷的情況下進行海量視頻處理，這將使它實現具實時性能、低功耗和低延時的車載信息系統和安全駕駛輔助系統相結合的汽車運算系統。瑞薩計劃將新的視頻處理電路模塊加入其未來的汽車運算系統SoC，有助于讓駕車體驗更安全、更方便。
2月1日，瑞薩在2016年1月31日至2月4日舊金山舉行的國際固態電路會議（ISSCC）上發表了這一技術。在演示環節，瑞薩通過播放全高清12路視頻內容、伴隨存儲器帶寬降低率的實時顯示，展示了裝有采用新型視頻處理電路模塊的SoC的測試板的處理性能。
