Page 7 - 手機為什麼還要用「獨立」ISP？

自行研發的ISP導入自家手機產品 中。而手機廠這樣的作法，不外乎 是想更加提升手機影像系統的能 力，提供給消費者更好的手機影像 呈現與拍照體驗。現階段，手機ISP 多整合在處理器SoC之中，手機業 者對ISP的可控度相對較低，加上 ISP進入門檻低，因此掀起手機品 牌廠開始投入ISP研發的新風潮。
之 所 以 說 離 散 、 獨 立 I S P 是「 反 潮流」的作法，可藉用GPU比喻: 在智慧型手機上，連GPU這樣的 大元件都尚且沒有獨立出來，更不 用說ISP這類規模小很多的處理器 有何必要從APSoC上剝離，成為單 獨的一顆晶片。這不僅是手機產品 寸土寸金的內部面積決定的，成本 及不同晶片間帶來的通訊開銷問 題，實際上都不適合讓ISP獨立。
圖1:ISP完整管線。
通常所說的ISP，是專用於影 像處理的處理器單元——主要是 對鏡頭拍攝到的影像資料處理和 運算。維基百科對ISP的功能介紹 中提到，ISP的主要功能包括拜耳 轉換、反拜耳(demosaicing，亦有 反馬賽克(Demosaic)的說法)、降 噪、影像銳化等。先前小米在MIX Fold手機上應用澎湃C1 ISP晶片 時談到，這顆晶片的工作能力至少 涵蓋了3A (自動對焦、自動白平衡、 自動曝光)。
彩修正、轉換、gamma校正等。 雖然圖1中的流程仍然不完整，尤 其在近代鏡頭往高畫素、超採樣 (Oversampling)、多鏡頭的方向 發展以後，ISP的能力和性能要求 也變得更高。
這樣的ISP傳統工作環節，都已有 AI單元和ML演算法的強力介入了。 從這個角度來說，「影像處理器」 實際意涵上有了更大的擴展，而不 再僅限於ISP。
(來源:Choi, SH., Cho, J., Tai, YM. et al. A parallel camera image signal processor for SIMD architecture. J Image Video Proc. 2016, 29 (2016). https://doi.org/10.1186/s13640-016-0137-2)
SPOTLIGHT
5
首 個「 反 潮 流 」的 業 者 可 能 是Google
當代ISP的完整管線當然不 止於此，圖1提供更多有關「ISP 是用來做什麼的」的解答，包括色
現在的AI拍照，絕不僅限於美 顏、換臉、卡通化、背景虛化這些 原屬於「趣味攝影」的功能;如自動 白平衡、自動對焦、防手抖、HDR
簡單看看PVC晶片的架構(圖 2):這顆晶片大框架是由一個Arm Cortex-A53核心、專門的512MB LPDDR4記憶體、一些I/O，和主
而隨著「運算攝影」 (Computational Photography) 技術的發展，以及廠商越來越注重 手機攝影的賣點宣傳，現今手機拍 照的後端資料處理、運算流程，已 不僅限於ISP。由於傳統影像處理 流程上，越來越多的部分有人工智 慧(AI)參與，AI單元(如NPU)也介 入到這個過程，且介入的環節也變 得愈發多樣化。
較早有所作為的應該是 Google。Google不僅將AI/ML技 術應用於運算攝影和電腦視覺， 還為了自家AI技術能更好地用到手 機拍照上，於2017年針對Pixel 2手 機推出了Pixel Visual Core (PVC) 晶片。雖然PVC晶片並非傳統意義 上的ISP，但它就是專門用作影像 處理與運算;更重要的是PVC是 一顆獨立於手機AP SoC晶片之外 的晶片。
2022年9月 | www.eettaiwan.com