什么是圖像處理器(Image Processor)？
2023-06-05 12:30:24 EETOP
通用的數字信號處理器（DSP），例如德州儀器(Texas Instruments)的C66x系列或ADI的Blackfin處理器，是能夠處理圖像數據的兩個例子。然而，需要認識到圖像系統對處理硬件有特殊要求，圖像信號處理器（ISP）通常比通用DSP更高效地完成任務。
也許最重要的考慮因素是數據的數量之巨。如果以44.1 kHz的采樣率和16位的分辨率對音頻進行采樣，實時的DSP應用每秒將處理88,200字節的音頻數據。而一臺連續以每秒一幀的速度拍攝的2400萬像素數碼單反相機則處于完全不同的領域；即使我們假設每個像素占用一個字節，我們每秒也要處理超過2400萬字節的數據。某些圖像處理算法相當復雜，當涉及這么多數據時，專用硬件模塊比由負荷過重的中央處理單元（CPU）執行的自定義代碼例程更可取。
這個例子還說明了為什么 ISP 可能需要以并行處理能力或作為芯片上的多核系統來實現。當所有這些圖像數據流入時，相機的計算電子設備必須能夠支持其他功能——例如焦點跟蹤或自動曝光。
什么是圖像信號處理器？
這個問題并不像我想的那么簡單。首先，讓我們考慮一下德州儀器 (TI) 的“成像信號處理器” LM98519 。在下面的圖 1 中，我們可以看到該芯片的功能框圖。
圖1. 框圖取自 LM98519 數據表。圖片由TI提供
在此示例產品中，此 ISP 只是用于基于電荷耦合器件 (CCD)的成像器的數據轉換器。基本上，它在白電平和黑電平反饋系統的幫助下對兩個多路復用 CCD 輸出波形進行采樣和數字化。但是，我發現術語成像信號處理器也用于指代為互補金屬氧化物半導體 (CMOS)傳感器設計的英特爾硬件和用于高動態范圍視頻處理的 IP 核。在圖 2 中，是標識為“圖像信號處理器”（因此不完全是圖像信號處理器）的另一部分的框圖。
圖 2.該圖取自 Arm 的 Mali-C55 ISP 的數據表。圖片由Arm提供
盡管術語幾乎相同，但這部分顯然屬于不同的類別并且具有更廣泛的功能。這個Arm ISP對圖像數據執行各種復雜的數學運算：
德州儀器的達芬奇（DaVinci )處理器，如圖 3 所示，甚至比 Arm ISP 的集成度更高：
圖 3. DMVA3/DMVA4 數據表中的框圖。圖片由TI提供
在這里，您可以看到用于圖像處理操作的硬件與微處理器和大量可供選擇的數字外圍設備相結合。TI 將此設備稱為“數字媒體處理器”（digital media processor），盡管它可以被描述為圖像信號處理器（ image signal processor）。實際上，TI 使用術語圖像信號處理器 來表示達芬奇“成像子系統”中的一個部分。
最后，Socionext 在其Milbeaut產品線中同時使用了圖像信號處理器和成像處理器這兩個術語（ image signal processor and imaging processor）。Milbeaut 設備是用于照片和視頻應用的多處理器片上系統 (SoC)解決方案，它們的獨特之處在于可以作為尼康 DSLR 和無反光鏡相機中功能異常強大的EXPEED 處理器的基礎。Milbeaut 的能力包括：
鏡頭畸變校正
總結
圖像信號處理器是一種多樣化的數字或混合信號 IC，專門用于分析和修改視覺數據。它們針對靜態圖像和視頻應用中涉及的許多資源密集型處理任務進行了優化，并且它們必須達到極高的復雜性和集成度，才能滿足尖端成像系統的需求。ISP 啟用并增強了許多自動化和用戶友好的功能，這些功能徹底改變了攝影和攝像；其中包括自動曝光控制、自動對焦、自動白平衡、物體檢測、圖像穩定和降噪。
