Page 10 - 手機為什麼還要用「獨立」ISP？

8
SPOTLIGHT
圖4:OPPO MariSilicon X晶片。
其實，相較於V1，vivo V1+晶 片已不是一顆單純的ISP晶片了。除 了片上「等效」32MB SRAM，vivo 在介紹中說，V1+還用於遊戲插幀 (frame，亦稱影格)。所以V1+應該 算是ISP+MEMC晶片，這更像是晶 片能力的擴散。
(來源:OPPO) 圖5:華為ISP+NPU融合架構。 (來源:華為)
從ISP拓展
然將兩者都整合到AP SoC上才是 最好的方法)，MariSilicon X在這 一點上就邁進了一步，雖然不知道 這顆晶片的NPU單元，在除影像處 理之外的AI推理(inferencing)工 作上究竟充當何種角色，以及其與 AP SoC上的AI單元是否有配合。
的ISP+NPU處理時間< 33ms，基本 相當於以前只用ISP來處理鏡頭拍 攝資料的時長。這對視訊處理而 言是具備了相當的價值，未來即時 性要求更高的應用，如AI VR，對 整個系統也都會有更高的要求。
而OPPO MariSilicon X晶片 就更不只是一顆ISP，ISP只是其 中的一部分。從OPPO公佈的晶 片框架圖來看，除了ISP、儲存子 系統以外，佔據較大die size的 是NPU——也就是AI單元。基於 OPPO公佈的參數，OPPO的這顆 晶片用於替代AP SoC上的ISP也 顯得更有價值，包括20bit 120dB 動態範圍、4K HDR/AI夜間視訊 拍攝等。
這種由ISP向外延伸的嘗試， 對於vivo、OPPO、小米這樣的廠 商而言應該會持續進行。所以很容 易理解為何會有OPPO預計於明後 年推出自研AP SoC的傳言消息出 現，這才應該是這些手機OEM的 終極目標，「獨立ISP」不過是其 中的一小步。
而 同 處 在 一 個 系 統、一 顆 SoC內的價值，先前華為對於這 種ISP+NPU融合架構的最佳化 方案之一在於，藉由片上cache (Smart Cache 2.0)，以及影像 行或影格切片的方式，讓ISP和 NPU進行資料通訊，以降低頻寬 消耗和延遲(圖5)。當時華為展示 的鏡頭拍攝畫面即時卡通化就用 了這種技術，這是獨立ISP難以 企及的。
基於現在的ISP需要與AI單元 配合工作這一點，如果AI單元獨立 於ISP晶片之外，則若雙方涉及頻 繁的資料交換，資料存取和通訊 帶來的開銷都是不小的。最好的 方式自然仍是把兩者放在一起(雖
在這一點頗具說服力的應該 是華為海思，即便華為的AP SoC 研發之路停在了麒麟9000。但麒 麟9000當年的一大亮點也在ISP 與NPU上，包括3A處理能力的 100%提升、quad pipeline使處 理管線速度提升50%等。
若要走向AP SoC設計，整合 ISP、NPU等單元顯然才是未來方 向。現階段中國手機廠商開發專 門的ISP晶片，乃是走向這條路的 一部分。未來更大、更複雜形態 的晶片產品也將能看到現在的技 術累積，這才是手機獨立ISP的真 正價值。
www.eettaiwan.com | 2022年9月
值得一提的是，華為在 「ISP+NPU融合架構」上的努力。 在同一顆APSoC晶片上，麒麟9000