Page 8 - 手機為什麼還要用「獨立」ISP？

6
SPOTLIGHT
圖2:Google PVC晶片die shot。 (來源:Google)
體部分的8個影像處理單元(IPU) 核心構成。這8個IPU核心，每個 核心都由512個ALU組成，每個 ALU則由256個PE (Processing Elements，16 × 16 2D陣列)構 成，執行平行乘積累加運算。在 Pixel 4時代，PVC經演進後改名為 Pixel Neural Core (PNC)，凸顯了 其中的AI屬性。
當時Google宣稱，PVC在效 率和能耗方面會有相對顯著的優 勢——雖然沒有人去系統地做過 測試，不過應該是相對可信的，畢 竟是DSA專用架構。PVC在運算 效率上的優勢，加上晶片內儲存資 源，應該能夠稀釋晶片間的通訊開 銷。而且Pixel 2及後續手機在拍 照表現上的確得到了比較好的效 果:Pixel 2用單鏡頭，就達到了 其他手機雙鏡頭類似的背景虛化 效果;也因此有了「別家靠影像感 測器，Google靠運算」的說法。
可惜的是，中國廠商在技術透 明度上還是比較低，所以幾乎無 法得知小米澎湃C1/C2、vivo V1/ V1+這些ISP晶片架構，在影像處 理的整條流水線上與AP SoC怎麼 配合輸出最終的影像，是否用了別 家IP等。先前有人猜測澎湃C1是 個著力在Pre-ISP的晶片，而V1則 更傾向於脫離AP SoC，完成ISP的 完整流水線。
PVC是一顆完全可程式設 計的DSA晶片。Google AI Blog 每隔一段時間都會發佈Google 在AI拍照方面的技術成果，例 如視訊防抖、超解析度(super resolution)、人像背景虛化、模 擬光照等。Google會透過韌體推 送的方式，把這些特性推送到用 戶的Pixel手機上。在PVC/PNC停 止更新以前，Google發佈的不少 運算攝影成果都是需要以這顆「獨 立晶片」作為運算力的依託。
原本影像感測器的技術進步， 在手機拍照乃至更廣泛的成像 領域具備最大的影響力;在此之 後，ISP在整條鏈路上的話語權顯 著上升。雖說ISP的市場價值仍遠 不及影像感測器，但其影響力已 今非昔比;當然這和AI技術的發 展也有很大的關係。這大概也是 Pixel手機能兩三代都不換影像 感測器，但拍照依舊保持在前段 班的原因。
不過ISP這類晶片的技 術透明度似乎一直也遠低於 CPU、GPU、NPU這樣的大元 件。大框架上，ISP晶片究竟長什 麼樣(不單是前面提及的整條流 水線)，歷史資料中有一些可當參 考，如1984年日立發佈的報告， 題為「Architecture of an Image Signal Processor」;還有NXP 的「S32V中的可程式設計ISP子 系統」。
Google於2017年推出這顆 PVC晶片，可能是因為對當時市 面上已有的高通Snapdragon
相較於Google PVC，小 米、vivo這兩年所推的ISP就更像 是傳統ISP了，從廠商宣傳的ISP
或許有讀者會好奇AP SoC廠 商對於下游手機廠商自研ISP抱持
www.eettaiwan.com | 2022年9月
CPU、GPU、ISP、AIE等單元和整 體的效率，應用在影像處理工作時 並不怎麼滿意，或者說後者無法相 對高效地承載Google賦予運算攝 影的AI演算法;而非執著於手機 產品的差異化競爭或對獨立晶片 有什麼追求。
功能(如3A)就看得出來。中國廠商 近幾年在這方面的投入不遺餘力， 先前招聘平台上就出現過vivo招募 ISP方向總監職缺。
中國本土手機廠商自研ISP 的意義
先前vivo在發佈V1晶片時提 到，V1歷時「24個月左右，投入超 過300人的研發團隊完成。V1針對 高速資料處理的針對性最佳化設 計，讓極其複雜的多個運算成像 演算法，在低功耗下平行即時處理 變為可能。」小米澎湃C1發佈之際 則宣傳「雙濾波器配置，可以實現 高低頻訊號平行處理，訊號處理效 率提升100%。」