用單攝像頭去實現虛化拍照并不是什么新鮮事,之前的 XR 以及更早的 Pixel 2 都有過類似的嘗試。蘋果新推出的 SE 也是如此,但它的攝像頭元件過于老舊,主要功勞還是在新算法上。
從左到右,分別是新 SE、 8 和 XR 的攝像頭傳感器從 的拆解報告可以得知,新款 SE 中的某些零部件和 8 完全相同,甚至達到了可以互換使用的程度——其中就包括了那顆 1200 萬像素的廣角攝像頭。「舊瓶裝新酒」的做法對 SE 而言并不稀奇,倒退回四年前,第一代 SE 也套用了 5s 的外觀和大部分硬件,只是在芯片上保持和 6s 一致,從而讓用戶能夠以更低的價格獲得旗艦機的性能體驗。理論上,照搬相同的攝像頭硬件,兩者的拍照特性應該也不會有太大差異。比如說 8 就不支持拍主體清晰、背景模糊的小景深照片,也就是我們常說的「人像模式」。
但查閱蘋果的支持頁面時你會發現, 8 所不支持的人像模式,卻被新款 SE 支持了——哪怕兩者都只有一顆后置鏡頭,且規格完全一樣。
正常情況下,手機拍「人像模式」這樣的虛化照片都得靠雙攝來完成——好比是人類的雙眼,兩個位置不同的鏡頭會獲取兩張不同角度的畫面,然后結合視角差估算出景深,從而實現背景虛化,保持主體清晰。如今列表上的 Plus 系列,或是近幾年的 X、 XS 和 11 等,基本都是靠多攝系統來完成人像虛化拍攝。那么 的前置單攝又是怎么解決的?核心在于 Face ID 系統中的紅外點陣投影器,它也可以獲取足夠精準的深度數據,相當于是一顆「輔助鏡頭」。
這么來看, SE 能拍人像模式照片就很特殊了:一來,它沒有多攝,二來它也沒有 Face ID,基本不存在硬件支持的可能性。很顯然,蘋果在軟件層面做了些我們看不到的改動。最近,第三方相機應用 的開發者 Ben 就透露了其中的技術原理,解釋為什么新 SE 采用了和 8 一樣的單鏡頭規格,但卻可以做到后者所無法實現的人像拍照模式。他們表示,新 SE 很可能是「第一款只使用單一的 2D 圖像,就可以生成人像虛化效果的 」。你可能會反駁, XR 不也是單攝拍虛化的嗎,難道 SE 不是照搬它的方案?然而拆解的情況證明, SE 和 XR 的攝像頭并不一致,這也導致兩者在技術上存在差異。
三星 S7 系列是首個將 DPAF 技術運用在智能手機攝像頭上的設備最重要的一點, XR 的攝像頭可以使用雙像素自動對焦(DPAF)技術來獲得一定的深度數據,而不是完全只靠軟件來模擬。簡單來說,DPAF 技術相當于將攝像頭傳感器上的像素點,分割成兩個更小的并排像素,去捕捉兩張角度不同的照片,就像是我們的左右雙眼一樣。雖然這產生的視角差不如原生雙攝那么明顯,但仍有利于算法去構建深度信息。
Pixel 2、3 使用 DPAF 技術獲得的兩張視差圖,肉眼難以感知,但仍可以幫助圖像分割算法做出判斷此前, 在 Pixel 2、3 上也運用了這樣的技術來實現單攝虛化。而在 Pixel 4 上,由于該機換成了多攝規格,視差探測明顯比單攝更精準。
再來看看 Pixel 4 靠兩顆攝像頭獲得的數據,視差更明顯,也能收集到更精準的數據至于新 SE,由于它的傳感器過于老舊, 稱它無法依靠傳感器來獲取視差圖,基本只能靠 A13 芯片所提供的機器學習算法,去模擬和生成深度數據圖。一句話解釋就是, SE 的人像虛化拍攝,真的就是完全在靠軟件和算法實現的。
用 XR 和新 SE 直接對著這張照片拍攝 用 XR 和新 SE 分別拍攝了一張小狗的照片(并非實拍,只是給「一張照片」拍照),然后對比兩張圖的深度數據。他們發現, XR 僅僅是做了簡單的圖像分割,將主體摳了出來,但并沒有正確識別出小狗的耳朵。
深度數據圖,左邊是 XR,右邊是新 SE但在新 SE 上,配合 A13 芯片所提供的全新算法,我們則得到了一張完全不同于 XR 的深度圖。它不僅正確識別出了小狗的耳朵和整體輪廓,還針對不同遠近的背景做了分層處理。這種深度圖并不是 100% 準確的, 表示,新 SE 在拍攝非人臉題材的虛化照片時,摳圖和虛化的精準度明顯沒有拍人像時來得精準。尤其是在一些主體和背景圖十分模糊的情況下,此時多攝像頭的優勢會更明顯些。
在這類非人臉題材,且主體和背景沒有明顯分割的場景下,新 SE 的虛化就很容易出錯從這張圖可以看到,配備了多攝系統的 11 Pro,不僅能將圓木上小植物輪廓完整地勾出來,而且還能對識別出背景的遠近距離,并做出分層處理。
深度數據圖,左邊是 11 Pro,右邊是新 SE而在新 SE 上,盡管同樣有分層處理的結果,但被攝主體和背景已經完全融在了一起,后期虛化時自然會比 11 Pro 差不少。
實際的虛化樣張,左邊是 11 Pro,右邊是新 SE這也是為什么,現在新 SE 使用 iOS 自帶相機應用時,只有在檢測到人臉的情況下,才能啟用「人像模式」拍虛化照片,其余情況則會出現錯誤提示,這點和之前的 XR 一樣。
原因仍然和蘋果自己的算法有關。 提及了一個名為「 Matte」(人像效果遮罩)的技術,主要用于在人像模式拍照中尋找出精確的人物輪廓,包括邊緣的發絲、眼鏡框等細節,以便對主體和背景進行分割。但目前來看,這套基于機器學習的分割技術更多是為「拍人」準備的,它的確可以彌補 XR 、 SE 這類單攝手機在視差數據上的不足,但如果拍攝對象從人物換成其它物體,算法也會出現一定概率的判定錯誤。至于像 11 Pro 這類多攝手機,就算摳圖算法有局限性,但還是可以通過攝像頭硬件直接獲得視差數據,所以它們在使用自帶相機時,也能將人像模式用在非人臉場景中,效果也不會太差。
新 SE 的前置鏡頭也支持人像模式,對人臉的摳圖精度非常高,成像差異只是在散景效果上當然,官方不支持的東西,第三方開發者還是可以拿來加以改造。如今 應用就支持 XR、SE 去拍攝小動物或其它物體的虛化照片,背后也是利用了蘋果的人像效果遮罩技術來構建深度圖,同時配合自己的后端優化。
使用 這樣的第三方應用,就可以用新 SE 拍非人臉題材的虛化照片總得來看,本次新 SE 所實現的人像虛化拍照,算是單攝手機靠軟件優化所能做到的極限了。嚴格意義上,這其實也得歸功于那顆 A13 芯片,如果不是它帶來了最新的機器學習算法,單靠一顆過時的攝像頭,SE 的拍攝體驗顯然得打個對折。這也多少證明照片模糊用什么軟件,智能手機發展多攝系統仍然是有意義的。我們可以用超廣角來拓寬取景視野,可以靠潛望式長焦獲得無損變焦照片,更別說 ToF、激光雷達這類「特殊鏡頭」對 AR 增強現實的探測幫助,這些都不是單純靠一個 OTA 升級,或是算法就能實現的特性。
當然照片模糊用什么軟件,一味地吹噓、比拼攝像頭數量同樣令人厭煩,如果說硬件只是決定了成像的下限,那么一套優秀的算法,則可以顯著拉升成像的上限,甚至是重新壓榨出老硬件的價值和潛力。不知道再等個四年,下一代 SE 面世時,單攝還能否在手機行業留有一席之地?題圖來源:Apple
當 iPad Pro 遇上妙控鍵盤,解鎖更多新姿勢。看起來像電腦,用起來也像電腦,重量也......更多新奇黑科技解密、酷炫產品,來愛范兒視頻號,1 分鐘全了解。注:微信視頻號仍在內測,部分用戶暫未開放
喜歡這篇文章就點這里