手機背後的攝像頭,或許能讓你提前一步觸摸未來

極客公園 發佈 2020-03-06T05:49:50+00:00

鑒於Facebook 對於 VR 的野心依舊,這項新功能將如何實現扎克伯格「10 億人共 VR」的夢想,也令人頗為期待。


普通照片一秒變「3D」,並非僅僅是噱頭。

如果賈伯斯看到最新的 iPhone 11 Pro 後面的三顆吐出來的「浴霸」造型攝像頭,不知道會作何感想。當然,不管「喬幫主」可能會怎麼看,攝像頭個數代表手機檔次,已經成為一個潛規則。雖然犧牲了部分造型,但確實給手機帶來了新的功能,例如獲得深度信息,這也是為什麼出現了 iPhone 擁有雙攝之後,出現了能夠虛化背景的「肖像模式」。

新功能需要新玩法,兩年前,Facebook 推出了 3D 照片的新功能,正是通過雙攝手機的「肖像模式」,讓 2D 照片出現「部分 3D」的效果。遺憾的是,當時擁有雙攝旗艦機的人還是少數的。幾天前,Facebook AI 發布博客,表示通過神經網絡訓練,現在 Facebook 已經可以將普通單攝手機拍攝的 2D 照片,轉化成具有 3D 效果的圖片。

除了用戶在手機頁面停留更長時間,「3D 照片」功能背後的積累,可以落地在更多場景,例如 AR 場景以及無人駕駛。鑒於 Facebook 對於 VR 的野心依舊,這項新功能將如何實現扎克伯格「10 億人共 VR」的夢想,也令人頗為期待。


2D 照片如何變 3D

同樣是 3D 照片,兩年時間有什麼不一樣的?答案是,深度信息。2018 年的 3D 照片功能要依賴當時手機雙攝「肖像模式」帶來的深度信息,而現在 Facebook AI 可以直接將任何時候拍攝的 2D 照片轉化出 3D 效果,不需要深度信息。

拋開深度信息來製造 3D 效果的照片,需要面對兩個挑戰,一個是訓練模型來推測各種物體的 3D 位置,另一個是優化系統來讓各種移動設備都能在短時間內將功能跑起來。為此,團隊使用卷積神經網絡(CNN)訓練了數百萬對的 3D 照片以及對應的深度信息;同時,利用 Facebook AI 團隊之前的開發 FBNet 和 ChamNet 的優化方式,來將功能推廣到更多的設備上。

通過這個方式,給出任意一張標準的 RGB 圖像,卷積神經網絡可以估算出任一像素到攝像頭的距離。目前,iPhone 7 及之後的設備,都可以使用 3D 照片功能。

在攻克 2D 照片的深度信息預測算法之後,Facebook AI 團隊表示正在嘗試將實驗擴大到視頻範圍,後者的挑戰在於每一幀畫面的深度必須與前後幀的保持一致,同時好消息是,由於視頻通常有同一物體的不同視角,能夠用來提供更精確的深度信息預測。而這些嘗試將讓團隊強化算法在深度、物體表面以及空間方面的推測能力,並最終將其使用到實時場景之中,例如手機端的 AR 應用上。

如果通過這些方式,能讓機器更好的理解立體的現實環境,也會對無人駕駛車輛或者無人機的導航提供幫助。

YouTube 和 3D 民主化

十五年前的 2005 年,YouTube 的三位創始人創立這個平台的時候,最開始的想法是做成視頻相親網站,很難說當時如果他們堅持那個方向,是不是還會變成現在這個視頻界的谷歌。當時數碼設備尚未流行,員工經常需要跑到用戶家裡去取用戶想要上傳的視頻的光碟,拿回到公司幫忙上傳,可想而知平台前幾年發展有多艱難。如果沒有後來智慧型手機的爆發,估計也不會有現在的 YouTube 了。

從 2014 年收購 Oculus,Facebook 在 VR 上下了重注,但是行業發展顯然沒有扎克伯格當時簽支票時預料的那麼快。視頻 3D 效果的創意,其實早在幾年前 Facebook 360 視頻團隊就曾經嘗試過,由於 Facebook 360 項目最終停滯,相關的內容也難以見到了。

這折射了 VR 和 AR 行業發展的一個瓶頸,如果普通用戶無法用手機便捷的創建 3D 內容,那麼他們可能不會對 VR 或者 AR 產生太大的興趣。雖然收購了一家又一家 VR 遊戲公司,但是用 PGC 的方式生產 VR 內容,畢竟速度和數量都和視頻的 UGC 不在一個數量級上。

另一個對 VR 和 AR 抱以厚望的巨頭谷歌,曾經收購過 VR 第一個熱門應用 Tilt Brush,後者堪稱是 VR 時代的「畫圖板」。該應用曾經吸引了不少國際知名藝術家,在 VR 中揮毫潑墨,吸引了普通用戶。但是問題還在於,Tilt Brush 還是需要戴上 VR 頭顯才能使用,依然有局限性。

帶來可能解決方案的,反而是一直悶聲積累 AR 實力的蘋果公司,後者在 iPhone X 上使用了前置 3D 攝像頭模組,用戶不僅可以利用其解鎖手機,同時還能創建一個模仿自己臉部動態的 3D 動畫形象。不過,蘋果對於 iPhone「齊劉海」的 3D 攝像頭功能控制的很嚴,無法任意使用,好在 Android 手機廠商隨後跟進,將前置 3D 攝像頭變成標配。曾經有人用小米手機的前置 3D 攝像頭,掃描出物體的大致 3D 模型。

3D 列印廠商清鋒科技曾經告訴極客公園(id:geekpark),未來希望人們能使用手機攝像頭來掃描自己的雙腳,通過得到的 3D 數據,來使用 3D 印表機來製作完全貼合自己腳型的運動鞋。要讓手機的 3D 攝像頭達到 3D 列印需要的精度,可能還需時日,不過,大致掃出一個物體的模型,現在基本可以做到了,只是手機廠商們仍未想好是否要開放這個功能。

可以想像,有一天你可以像拍照一樣,隨便一掃就可以建造出眼前事物的模型,肯定會第一時間分享給朋友,或者上傳到 3D 版的 instgram 或者 YouTube 上。不過,在那之前,你現在可以先在 Facebook 上,提前體驗一下未來。


本文作者:靖宇

責任編輯:臥蟲

圖片來源:Facebook、視覺中國網站

關鍵字: