在眾人目光仍聚焦于近期熱門的AI生成視頻之際，StabilityAI——StableDiffusion背后的團隊，已于數(shù)日前推出了其基于TripoSR技術的新3D模型StableFast 3D（簡稱SF3D）。這款模型以其小巧的體積，卻展現(xiàn)出市場上罕見的生成質量與效率，引發(fā)了業(yè)界的新一輪關注。
官方給出的項目中整合了一個僅4GB大小的AI模型，該模型支持本地部署，只需利用一張配備7GBVRAM（顯存）的顯卡，即可在本地實現(xiàn)0.5秒生成3D模型。而通過StabilityAI API在線示例生成，也僅需大約一秒鐘。相比之下，今年三月發(fā)布的SV3D模型，其推理時間則長達10分鐘。
官方公布的對比示例圖鮮明展示了SF3D模型的雙重優(yōu)勢：一方面，其生成效率極高，生成時間被大幅壓縮；另一方面，模型展現(xiàn)出卓越的光線反射效果和更為豐富的細節(jié)紋理，極大提升了3D模型的實用性。
作為一款小體量模型，SF3D在生成斧頭、椅子等常見三維物體時能夠展現(xiàn)出良好的質量，但在面對不常見或復雜物體時，其樣本訓練不足的局限性便顯露無遺。當我們嘗試生成金箍棒模型時，效果便一言難盡，整體更像一根略顯粗糙的魔杖，而非原著中的神兵利器。
目前，SF3D支持本地部署與API在線示例使用，本地部署支持ComfyUI創(chuàng)建工作流進行使用，前提需要安裝ComfyUI-3D-Pack插件和Rembg等一系列節(jié)點，安裝復雜門檻較高。想節(jié)約時間的小伙伴，推薦前往HuggingFace搜索StabilityAI賬號，使用官方提供的在線示例。
要想持續(xù)穩(wěn)定地提升生產效率，一張高性能的AI顯卡無疑是你不可或缺的伙伴。影馳RTX 4080 SUPER 金屬大師OC，憑借836AI TOPS 的AI算力，以及16GB大容量顯存，讓你隨心創(chuàng)作、剪輯和建模，搭配DLSS3.5等英偉達黑科技，《黑神話悟空》等3A游戲也能輕松拿捏！
(8906337)
D圖紙轉3D柜體。
器之心專欄
機器之心編輯部
給你幾張照片，你可以猜到在三維世界中他們究竟長什么樣子嗎？
我們可以憑借豐富的視覺先驗知識，僅憑一張照片輕松推斷出其3D幾何形態(tài)及在不同視角下的樣貌。這種能力得益于我們對視覺世界的深入理解。而今，恰如人類，一些卓越的圖像生成模型，如Stable Diffusion和Midjourney，同樣擁有豐富的視覺先驗知識，展現(xiàn)出高質量的圖像生成效果。基于這樣的觀察，研究員們提出假設：一個高質量預訓練圖像生成模型具有和人類一樣的能力，即可以從一個真實或AI生成的圖像中推理出3D內容。
這個任務非常具有挑戰(zhàn)性，既要估計潛在的 3D 幾何結構，也要同時產生未見過的紋理。基于之前的假設，來自上海交通大學、HKUST、微軟研究院的研究者們提出了 Make-It-3D 方法，通過使用 2D 擴散模型作為 3D-aware 先驗，從單個圖像中創(chuàng)建高保真度的 3D 物體。該框架不需要多視圖圖像進行訓練，并可應用于任何輸入圖像。這篇論文也被 ICCV 2023 所接收。
論文鏈接：https://arxiv.org/pdf/2303.14184.pdf
項目鏈接：https://make-it-3d.github.io/
Github鏈接：https://github.com/junshutang/Make-It-3D
該論文剛公布，就引發(fā)了推特上的熱烈討論，隨后的開源代碼在 Github 累計收獲超過 1.1k星星。
那么方法背后的技術細節(jié)是什么呢？
該方法在優(yōu)化三維空間時，主要依據(jù)兩個核心的優(yōu)化目標：
1. 在參考視角下的渲染結果應該與輸入圖片高度一致；
2. 在新視角的渲染結果顯示與輸入一致的語義。其中，研究者采用 BLIP2 模型來為圖片標上文本。
基于這樣的優(yōu)化目標，在一階段時期，該方法對參考視角周圍的相機姿態(tài)進行隨機采樣。在參考視角下對渲染圖和參考圖施加像素級別的約束，在新視角下利用來自預訓練擴散模型的先驗信息度量圖像和文本之間的相似性。
然而，只用文本難以描述一張圖的全部信息，這會導致生成的 3D 模型難以和參考圖像完全對齊。因此，為了增強生成幾何模型和圖片的相關程度，論文額外約束了在擴散過程中的去噪圖和參考圖之間 的圖像相似性，即約束了圖像之間的 CLIP 編碼距離。這一方法進一步有效提升了生成模型和圖片的相似程度。
此外，論文還利用了從單張圖估計的單目深度來避免一些幾何歧義性，例如凹陷面等問題。
然而，研究者認為，優(yōu)化得到的紋理隱式場，難以完全重建出圖片的紋理細節(jié)，例如小熊表面的絨毛紋和局部的顏色信息，在一階段生成的結果中都沒有體現(xiàn)。因此該方法提出聚焦于紋理精細化的二階段優(yōu)化過程。
在第二階段，該方法根據(jù)第一階段得到的幾何模型，將參考圖像的高質量紋理映射到 3D 空間中。然后著重于增強參考視角中被遮擋區(qū)域的紋理。為了更好地實現(xiàn)這一過程，該方法將一階段的隱式表示導出到顯式表示形式 —— 點云。與 Marching Cube 導出的噪聲網格相比，點云可以提供更清晰的幾何特征，同時也有利于劃分遮擋區(qū)域和非遮擋區(qū)域。
隨后，該方法聚焦于優(yōu)化遮擋區(qū)域的紋理。點云渲染采用了基于 UNet 結構的 Deferred-Renderer (延遲渲染器)，并同樣使用來自預訓練擴散模型的先驗信息優(yōu)化產生遮擋區(qū)域的精細紋理。
從左到右依次是參考圖，一階段優(yōu)化得到的法向圖和紋理渲染結果，二階段紋理精細化后的渲染結果。
該方法還可以支持多種有趣的應用，包括可以對三維紋理進行自由編輯和風格化。以及用文本驅動產生復雜多樣的三維內容。
結語
Make-It-3D作為首個將二維圖片拓展到三維空間，同時保持了和參考圖片相同的渲染質量和真實感的方法，致力于創(chuàng)作和二維圖片視覺效果相同的三維內容。研究員們希望可以通過Make-It-3D這篇工作，引發(fā)學術界或工業(yè)界對于2D轉3D這一方案更多的關注，加速三維內容創(chuàng)作的發(fā)展。對于方法的更多實驗細節(jié)和更多結果，請詳見論文內容和項目主頁。
接下來就讓我們輕松的Make-It-3D吧！