在剛剛過去的2022驍龍峰會上，高通的第二代驍龍8移動平台正式發布。除了一如既往的突出性能表現，影像技術上的進步同樣讓業界側目。新平台內嵌了領先行業的首個認知ISP（Cognitive-ISP），在即將到來的一大波智慧型手機新品中，實時語義分割、Pro Sight視頻拍攝功能等一眾新技術，將為內容創作者帶來專業的移動影像體驗。
譜寫手機影像發展史
不難發現，智慧型手機影像技術的每次突破，都離不開驍龍移動平台ISP的助力。在高通推出首款雙ISP後，高像素、2PD對焦、4K視頻/HDR視頻拍攝逐漸實現，並在2016年的Spectra 180 ISP上實現支持雙攝方案以及平滑的光學變焦。至此，手機攝影才有了現在的雛形。
然而，單純提升ISP運算性能已不能滿足更複雜的拍攝場景，和更高質量的成像需求。因此高通推出了Spectra 380 ISP，這也是全球首個CV-ISP，使智慧型手機具備了計算機視覺（CV）能力，照片和視頻的優化可以具體到每一幀。手機拍攝4K HDR 10bit視頻也成為可能，並實現了對象分類和對象分割。至於後續上線的8K HDR視頻、4K/120FPS、杜比視界等功能，則是極大豐富了視頻內容生產者的創作手法和想像力。
不過大家有沒有發現，儘管驍龍ISP的運算已經觸及到幀。像夜景拍照，可以以極快速度將優化好的多張照片合成。但是，這跟我們日常優化照片還是有差別。就是具體到畫面的每一部分。例如天空、背景的色調、人臉的細節，每一部分去詳細優化，手機攝影能做到嗎？
認知ISP：讓手機鏡頭感知世界
這個問題，在第二代驍龍8移動平台的認知ISP（Cognitive-ISP）到來後，答案是肯定的。對比傳統強調算力的ISP，認知ISP以AI為先導，你可以理解為有思維的圖像計算，與人眼一樣，認知ISP也能觀察並理解照片中的「世界」。
在拍攝照片和視頻時，認知ISP可以進行實時的語義分割。在場景中感知人臉、面部特徵、頭髮、衣服和天空等細節，並進行獨立優化。
這樣的好處是顯然易見的，過去的多幀合成只能做到亮部/暗部，或者整體色彩的調節。現在，無論是照片或是視頻，可以對每一幀二維的畫面進行八層語義分割，然後再加入時間深度上的語義，就可以對每層應用做定製化處理。按照我們日常處理素材的行為來區分的話，傳統ISP更像是一鍵生成，而認知ISP則更符合「精修」的概念。
那問題又來了，如此複雜的圖像計算，效率與能耗會不會造成負擔。實際上，第二代驍龍8的效率更高了。首先用於處理情境感知任務的AI處理器增加到兩顆，識別效率和運算速度加倍。另外，Hexagon處理器和ISP之間，增加了名為「Hexagon直連」的物理連接，圖形計算的處理上都能在ISP內部完成，讓AI在影像中的運算效率大幅提高。
實拍：細節到髮絲的優化
實際拍攝效果又是如何，我們這裡可以看虹軟基於認知ISP，針對人像特寫頭髮部分的優化。在保持人臉膚質細節前提下，頭髮部分進行了柔化處理，原來略顯分叉的髮絲，在優化後變得柔順起來，這是在視頻中實時進行的局部柔化處理，為了增加難度，頭髮也在不斷飄動。完整看下來，實時處理也沒有出現翻車現象，認知ISP確實表現出極高的運算效率。
至於時下非常熱門的視頻虛化功能，虹軟實現了更為生動的電影模式。相比傳統單一的人像虛化，認知ISP可以根據畫面的人物或主體變化，實時切換對焦點，完成前後景深虛化效果的自然變化。而且從實拍效果能看到，這個景深變化也很符合人眼看到的效果。
至於對視頻質量要求更高的內容生產者，認知ISP提供了Pro Sight視頻拍攝模式。相比普通視頻，Pro Sight視頻的比特率提升了5倍。
玩過視頻拍攝的用戶都知道，比特率是個關鍵參數，原理上比特率越高畫質越好。因為高比特率的畫面擁有更多的細節、更好的寬容度，更少的噪點，這樣的視頻將擁有更好的後期空間。
定義超前的未來規格
除了當下的新功能，認知ISP的潛力還來自於超前的規格。在谷歌安卓13設備上，可以拍攝10 bit HDR的視頻以及8K HDR 60fps的視頻，並支持2億像素的照片拍攝。
為此，三星全新的2億像素圖像傳感器ISOCELL HP3專門面向第二代驍龍8進行了優化，能夠在驍龍平台上支持採用Re-mosaic像素重排技術實現高解析度照片拍攝。
而索尼IMX800以及1英寸的索尼IMX989，則是首批面向驍龍調優的QDOL HDR圖像傳感器。視頻的每一幀將融合4重曝光，為視頻拍攝帶來出色的HDR效果。QDOL4技術使視頻和照片能夠將光線最暗處和最亮處的細節呈現在同一畫面上。
可預見的手機影像飛躍
移動影像技術向來是驍龍移動平台的核心部分，從認知ISP的具體表現來看，驍龍在這方面依然保持著充足的競爭力。對於用戶來說，認知ISP的能力也很快能在即將發布的旗艦手機上感受到，大家不妨拭目以待。