別再干談什么性能了 智能手機早已進入“影像為王”的時代

　　當前中國智能手機市場已經進入高端領域的競爭時代，對于旗艦手機來說，產品的工業設計、屏幕、性能等要素已經高度規格化，并不容易作出真正的差異化。在此背景下，影像成為眾多手機廠商著力攻克、實現差異化的一個突破點。特別是近兩年，手機廠商們在發布新品時往往會重點突出產品的拍照、攝像能力。

　　而從消費者的角度來說，根據2019年的調查數據，消費者在選購智能手機時候，拍照也是他們關注的第一要素。由此可見，智能手機已經進入“影像為王”的時代，成為手機市場最重要的主題之一。

　　而單就智能手機的影像來說，也經歷了不同的發展時期，從早期的拼像素，到拼攝像頭數量，然后再到拼傳感器的尺寸，越來越高階。而眼下，智能手機影像領域最炙手可熱的話題，無疑非“計算攝影”莫屬。

　　計算攝影，照亮手機影像新方向

　　什么是計算攝影?簡單理解，其實就是將計算機軟件算法和現代傳感器、光學系統等技術融合在一起，從而形成新型的攝影設備。它突破了傳統數碼攝影的種種限制，讓算法在攝影中發揮核心作用，這其中，人工智能技術的應用是關鍵。

　　這里我們再回顧一下手機影像的工作流程：

　　光線首先透過鏡組和光圈來到CMOS圖像傳感器，CMOS的作用是將光信號轉換為電信號，這時候的信號還是模擬信號，所以需要ADC模數轉換器將模擬電信號轉換為數字信號。

　　接著，數字信號會來到ISP，ISP的主要任務是通過一系列先進的數字信號圖像處理算法對傳輸過來的信號進行效果處理，例如壞點校正、去除噪點等等。

　　ISP處理過信息后，再通過IO接口傳輸到CPU中進行比較、存儲、分析等處理，最后通過顯示屏就可以看到圖像了。

　　可以看到，傳統手機影像的工作流程中，也是需要算法參與的，主要是在ISP及向后的數字信息處理的過程。而計算攝影，幾乎可以說成了由計算機算法成主導，參與的深度和復雜度是傳統攝影無法比擬的，

　　而且，計算攝影中，算法干預的步驟甚至可以達到圖像傳感器這一層級。而且，如今智能手機攝像頭的數量通常都要達到3個甚至4個，計算攝影的另一個重要使命或者工作，就是推動多攝像頭在拍攝時實現像素級的深度融合、協同，這背后，需要AI算法深入到傳感器、ISP乃至CPU、GPU等運算模塊，共同完成算法對影像效果的把控。

　　而說到計算攝影，目前智能手機行業的領先者已經做了很多探索，包括谷歌、蘋果、華為等等。而在剛剛過去的驍龍技術峰會上，高通推出的全新一代驍龍8移動平臺，則在計算攝影方面強勢發力，將行業對計算攝影的探索又向前推進了一大步。

　　全新一代驍龍8移動平臺，影像與AI構建核心競爭力

　　作為全球最先進的移動平臺，驍龍是頂級Android體驗的代名詞，而全新一代驍龍8移動平臺則是2022年各大旗艦安卓智能手機的標配，同時也是在AI、影像、性能、連接等各方面都全面升級的一代，其中就包括計算攝影方面的能力。

　　看了前面對于計算攝影的介紹，相信大家已經能夠想到，驍龍8的計算攝影能力，核心來源于強大的ISP和AI能力。

　　1、進階的18-bit Qualcomm Spectra ISP

　　今年驍龍8搭載的是全新Qualcomm Spectra ISP，它是高通首個支持 18-bit 的 ISP，也是首個支持 18-bit ISP 的智能手機 ISP。18-bit 技術超越了許多專業相機的配置，影響數據項相比之前提升達 4096 倍。

　　18-bit 為影像表現帶來的，不僅是色彩豐富度的大大提升，動態范圍也顯著提高。它能夠為畫面帶來額外 4 個比特動態范圍，將讓用戶能夠在圖像最暗和最亮的部分看到更多細節。

　　同時，Qualcomm Spectra ISP 的強大還體現在瘋狂的像素吞吐能力，它能夠每秒捕捉 32 億像素, 與前代相比速度提升 19%，為移動端最快。而且他還能夠用單個攝像頭以 30fps 捕獲 1.08億像素的畫面，或者三顆攝像頭每顆分別以 30fps 捕獲 3600 萬像素的畫面，或者，按鍵一次在一秒內捕獲 240 張 1200 萬像素畫面。

　　尤其是在低光環境下，全新 18-bit Qualcomm Spectra ISP 還支持“超級多幀引擎”，能夠捕獲 30 張畫面，再將它們合成為一張照片。低光條件下拍攝的照片將具有超級銳麗度、超級豐富的色彩和超級的亮度。這一點對于計算攝影能力的提升非常有幫助。

　　而在視頻拍攝方面， 18-bit ISP 將率先在智能手機上支持 8K HDR 視頻拍攝，同時 8K HDR 視頻還能以 HDR10 + 格式進行拍攝，并且與前代產品相比，在 HDR10 + 視頻拍攝使用場景下，功耗降低達 50%。

　　而且，18-bit ISP 的超大帶寬支持用同一圖像傳感器同時拍攝 8K 視頻(每幀 3300 萬像素)和拍攝 6400 萬像素的照片。

　　2、強大的第7代高通AI引擎

　　在AI方面，全新一代驍龍8移動平臺搭載了第7代高通 AI 引擎。

　　在第7代高通 AI 引擎上，高通著重提升了 Hexagon 處理器的性能，實現了性能翻倍的表現，同時對共享內存進行了翻倍。

　　具體而言，第7代高通 AI 引擎在廣泛的 AI 模型用例中的推理時間比前代 AI 引擎快 4 倍，同時 AI 能效比前代提升 1.7 倍，同時，AI軟件性能也提升了 2 倍。

　　另外第7代高通 AI 引擎值得關注的就是它的傳感器中樞模塊，驍龍 8 中，高通在傳感器中樞里引入了全新低功耗 AI 子系統。該系統為多核架構，由專用 AI 處理器、DSP、外加自有內存組成，用于處理情境數據流，包括語音、音頻、傳感器和連接。在全新低功耗 AI 子系統的輔助下，傳感器中樞模塊的 AI 性能提升 75 %，功耗降低 50%。

　　還有就是，在第7代高通 AI 引擎中，高通還和谷歌合作，將神經網絡架構搜索(NAS)引入驍龍平臺。

　　NAS 研究可以將要使用的硬件以及其他設計參數以幫助工程師快速實現最優設計，自動設計神經網絡模型。從根本上繪制硬件藍圖并利用 AI 充分發揮那些特性以產生最優結果。

　　此外，它能夠考慮時延、網絡規模或精度等目標，將初始網絡作為起點并全面搜索優化網絡以便在該硬件上針對性約束內運行得更快。

　　總之就是可以讓第7代高通 AI 引擎的強大AI算力能夠得到充分釋放。

　　3、CPU、GPU、傳感器……

　　我們知道，驍龍移動平臺的高通 AI 引擎并不是專門的NPU神經網絡芯片，而是通過協同Hexagon 處理器、CPU、GPU等運算模塊實現強大的AI能力。因此在驍龍8上，CPU、GPU等模塊性能的提升，對于AI能力的升級也非常重要，進而自然也能為計算攝影帶來增益。

　　在驍龍8中，全新高通Kryo CPU基于最新的 ARMv9 架構，采用三星 4nm 制程工藝，核心架構包括1 個 Cortex-X2 核心，最高主頻 3.0GHz ，1MB L2 緩存，3 個 Cortex-A710 核心，最高主頻 2.5GHz ，512K L2 緩存，4 個 Cortex-A510 核心，最高主頻 1.8GHz，6MB L3 緩存。

　　在這些特性的支持下，高通Kryo CPU的整體性能提升幅度為 20%，能效提升幅度為 30%。

　　至于全新的高通 Adreno GPU，也采用了新的架構，圖形渲染能力提升 30%，并且游戲時的能效提升 25%。

　　前面我們說過，計算攝影理念中，AI算法的干預鏈路甚至可以上探到傳感器層面，而驍龍8也做到了這一點。正如高通在驍龍技術峰會上宣布的那樣，高通會與索尼傳感器合作，成立聯合實驗室推動移動影像發展，聯合實驗將為基于驍龍 8 開發的設備，來提供優化，還將在這里進行高通和索尼對于最新影像技術的測試，甚至為驍龍 8定制圖像傳感器。相信雙方的合作中，計算攝影一定是最重要的方向之一。

　　多種創新AI+影像用例坐陣，計算攝影能力可見一斑

　　計算攝影中，算法參與智能手機影像工作的幾乎整個流程，從前段的傳感器到后段的CPU、GPU等，每一個環節，驍龍8都實現了顯著提升。這是完成計算攝影創新應用的基本條件，就像完成一幅畫，這些是畫布、顏料、彩筆，有了這些，高通就能通過驍龍8更好地施展才華，將他們在計算攝影方面的創意描繪出來。

　　特別是借助全新18-bit Qualcomm Spectra ISP和第7代高通 AI 引擎的融合，驍龍8創造了很多AI+影像的用例，這些用例，都代表著平臺計算攝影能力上了一個新臺階。

　　比如利用Qualcomm Spectra ISP的超級多幀引擎，搭載驍龍8的設備在拍攝運動狀態物體時，能夠在每張照片中精準地追蹤每個像素細節。有了這個計算視覺能力，Qualcomm Spectra ISP 能夠助力終端拍出“光影流動”的效果。

　　在峰會的演示區，IT之家就看到了這個技術的演示。搭載驍龍8的參考設計手機拍攝下面這個場景，前面是靜止的木頭人，后面是不停轉動的霓虹摩天輪。在手機上按一下快門，就會快速捕捉很多幀，最終融合成一張木頭人清晰、但后面霓虹風車的燈光模糊成圓形運動軌跡的照片。一張藝術照輕松拍成。

　　還有，全新Qualcomm Spectra ISP融入AI能力后，還可以進行更強大的人臉識別，哪怕在全景照片中人物面部非常小，現在也能準確識別。

　　而且在進行人臉識別時，驍龍8現在可以檢測到 300 個特征點，而且神經網絡還針對更多的人臉特征進行訓練，包括眉毛、嘴唇、下頜線等，因此Qualcomm Spectra ISP 可以檢測拍攝對象的表情，從而更準確地理解情緒。

　　和人臉識別相關的還有一個應用，就是高通與虹軟合作實現的AI影像，在視頻拍攝狀態下，能夠同時進行人臉識別、手勢識別和背景虛化，這三者分開，每一個用例都需要足夠的AI算力支撐，現在同時進行，其創新力和難度可想而知。

　　IT之家在現場也做了體驗，人物一進入畫面，視頻很快就會完成背景的虛化，同時嘗試搖頭晃腦做手勢，各種效果也能很快跟著改變。

　　還有就是，利用三個ISP 中的兩個 ISP ，搭載驍龍8的終端將可以拍攝類似全景圖像的畫面，按一次快門便可獲得無畸變且達到極寬的 140 度視場的照片，再也不用移動手機分幾次拍攝了。

　　IT之家在峰會演示現場還看到了一個應用，就是利用驍龍8強大的計算攝影能力，同時調用智能手機的三枚攝像頭進行視頻拍攝，而且最高可以支持3個6400萬像素以30fps的方式同時工作，非常驚人。

　　更重要的是，三個攝像頭不僅是同時工作，更能彼此交流數據，例如廣角鏡頭可從長焦鏡頭中獲取更多的細節，長焦還能通過超廣角鏡頭得到更好的白平衡效果，三枚攝像頭彼此深度融合，正是我們前面說的當前計算攝影的重要應用場景。

　　最后值得一提的是，在峰會上高通還宣布了在 AI 層面和徠卡的合作：未來驍龍移動平臺將支持由高通 AI 引擎賦能的徠卡Leitz風格(Leica Leitz Look)，后續還會有更多基于其他傳統徠卡鏡頭的風格加入進來。

　　結語

　　總體來說，全新一代驍龍8移動平臺憑借全面提升的影像和AI能力，在計算攝影方面實現了諸多創新性的應用，并且，上面IT之家展示的還只是高通給出的基本用例，隨著終端手機廠商在應用層面的發力，必然會誕生更多的計算攝影功能和用途，在讓消費者獲得專業級影像能力的同時，沒推動計算攝影領域的前進和發展。

　　(本文內容轉載自IT之家)