【原文:】
5.3.2基于多視角照片的3D人臉重建
多視角三維重建的技術原理請詳見第6章6.3節“立體視覺重建:將照片轉成3D數字模型”,本節主要介紹如何具體地操作和應用。(歐特克)公司發布了一個建模軟件 123D Catch,有了它,你只需要簡單地為物體拍攝多張照片,不需復雜的專業知識。利用云計算的強大能力,123D Catch可以將用戶拍攝的照片迅速轉換為逼真的3D模型。官方下載地址:,下載安裝注冊都很容易。
在實際使用時,用戶一般需要拍攝至少20張左右不同角度的照片。比如你可以讓朋友對著你的頭部拍攝一組照片,然后用123D Catch生成你頭部的3D模型。如果可能,最好圍繞著物體拍攝兩圈,每圈照片錯開角度、高度和間隔,如圖5.3.2-1所示。
圖5.3.2-1拍攝至少20張左右不同角度的照片(圖片來源:)
再舉一個例子,如圖5.3.2-2所示的這組照片是先以約60度環拍一圈,再以約15度的角度環拍一圈。在拍攝之前,先計劃好如何移動,如何從不同角度拍攝。記住一點,先圍繞著物體轉一圈拍攝,然后再拍些細節。圍繞物體拍攝時,多少度角照一張,取決于你想拍的物體。有些物體25度角就可以。有些樣子復雜的物體基于主動視覺獲取深度圖的三維人臉重建方法,需要更密集,比如轉10度就需要照一張,轉一圈下來共需要排36張。
圖5.3.2-2拍攝的路徑規劃以及所拍攝的多角度照片(圖片來源:)
根據的官方說明,要想用這個軟件做出理想的3D模型,你還必須掌握如何去拍照,需要注意的地方如下。
2整個拍攝過程,要保持在同樣的光照下,有專業的環境最好。光線不能太亮和太暗。拍攝時也不能用閃光燈。拍攝時還要注意相機不能抖動以免照片模糊。
2要連續拍完,不能今天拍了幾張,明天再拍幾張。
2避免拍攝透明、反光、或平坦光滑的物體。
2拍攝時,也要避免有對稱特征的物體。
2相鄰照片之間最好有50%的場景重合。這樣軟件才能根據相同部分,把其他不同部分加進來。
2如果拍攝活的動物或人,要確保他們在拍攝過程中不動。此外,不停的亂動也會使快門速度不夠高的普通相機拍出模糊的運動圖像來。
2拍物品時,也不能把物品翻過來拍。把想拍的物體放好后,圍著它轉著拍。拍攝中只能你動,不能移動物體。
123D Catch采用的是多視角立體匹配重建(Multi-View :MVS)技術,原理建立在以特征匹配為基礎的三角測距。因此,拍照時盡量使物體放置在有特征的背景里,否則軟件很難在多張照片之間找到匹配,導致無法生成3D模型。比如,要避免拍攝沒有特征的背景墻,軟件非常難識別這樣的背景照片。你可以添加一些特征到墻上,例如貼一些畫是個好辦法。又比如,你想拍一只恐龍,不要把它放在光滑的地板上。可以找塊有特征的地毯或鋪一張報紙(如圖5.3.2-3左邊所示),把恐龍放在地毯/報紙上面再拍攝。當然,你也可以在背景里粘貼一些特征紙條,如圖5.3.2-3右邊所示。同理基于主動視覺獲取深度圖的三維人臉重建方法,也不能拍攝那些平行、相似度太高(特征模糊的)物體,例如有很多一模一樣窗戶的樓房。
圖5.3.2-3將物體放置在有特征的背景里。左:報紙;右:畫有特征的紙條
拍完照片之后,你就可以上傳了。注意在上傳前,你最好不要修改原始照片。因為原始照片帶有照相機的參數,軟件需要這些參數進行標定。上傳照片后,軟件會自動找到和匹配照片中物體的共同特征。以這些共同特征為基點,把不同照片中物體的特征整合在一起,以便生成3D模型。如圖5.3.2-4所示,這是所生成的3D模型和它的三角網格。你可導出為3D文件,以便輸出到3D打印機進行打印。
圖5.3.2-4生成的3D模型和它的三角網格
通過閱讀前面的拍攝注意事項,可能有的讀者心里會犯嘀咕:拍照難道要這么講究啊?非也!你當然也可以有不那么講究的套路,但前提是需要加錢購置設備。如圖5.3.2-5所示,我們可以繞顧客一圈上下架設多臺照相機(比如20臺),以毫秒級的精度控制它們同步拍攝。這樣,你就不用費時費力地端著相機繞顧客拍了。
圖5.3.2-5架設多臺照相機同步拍攝人像(圖片來源:NUS)
然后,使用3D智能數字化算法,比如利用多視角立體視覺、 Hull技術(見第6章6.3.2節“基于立體視覺、SFM和 Hull的三維重建”)以及幾何細節形變技術(見第6章6.2.3節“個性化形狀的編輯與合成”),我們就可以獲得瞬間的3D形狀。如圖5.3.2-6所示,因為拍攝在毫秒級的時間內完成,這時顧客就不再需要保持一個姿勢幾分鐘不動了。
圖5.3.2-6使用3D智能數字化算法重建出瞬間的3D形狀(圖片來源:MIT)
除了同步拍攝人體,我們當然也可以同步拍攝人臉。如圖5.3.2-7所示,我們可利用多臺同步拍照的高清單反相機,基于多視角重建技術來獲取“毛孔級精度”的精細3D重建。
圖5.3.2-7利用多臺同步拍照的高清單反相機來獲取“毛孔級精度”的精細3D人臉(圖片來源:ETH )
有的讀者會說,上面的技術確實很酷,連毛孔都能拍出來。但這么多三腳架擺在顧客面前確實嚇人(有種“大刑伺候”的感覺?),而且多臺單反相機成本也不低,此外還有很多顧客臉上痘痘什么的也不少啊,毛孔級精度似乎太精細了(正所謂:架起大炮找蚊子)。沒關系!創客們最大的優點就是樂于成為普通大眾的“貼心小棉襖”,比如牛津大學就研制出一款手持式3D掃描儀,任何人都能通過它快速獲得現實物體的3D模型。像普通相機一樣,只需對準目標,按下快門,就能在數秒內幫你抓取3D人臉模型。如圖5.3.2-8所示,左右安裝有兩個攝像頭,也是基于計算機視覺立體成像的原理。
圖5.3.2-8 的外形圖(圖片來源:牛津大學)
與5.4節的相比,精度更高,如圖5.3.2-9所示,這得益于它更高的拍攝分辨率。
圖5.3.2-9 與的掃描結果對比。每個小圖的左邊為的結果,右邊為的結果。