如何沉浸地玩游戲?對于這個問題,大家可能會給出各不相同的答案,有的朋友會建議用手柄或者模擬器來玩,這樣在賽車類游戲體驗會更好;有些朋友則建議在玩游戲時要隨著游戲內的角色一起運動,以獲得更加真實的臨場感;還有些朋友則建議使用監聽音箱。不過筆者認為,這些方法雖好,但不如直接在顯示器上下功夫,比如換一臺AGON AG455UCX。
2、產品特點
為了節省大家時間,按照慣例,筆者將會總結一些這款產品的特點,一起來看看吧。
1)44.5英寸超大屏幕,32:9超寬比例。AGON AG455UCX采用了一款44.5英寸的5120x1440的VA面板,大約相當于兩個24.5英寸2K顯示器的可視面積。
2)超高刷新率,支持HDR。AGON AG455UCX支持165Hz超高刷新率以及HDR400,畫面流暢順滑不卡頓,亮度在室內環境絕對夠用。
3)極高的對比度,更清晰的暗部細節。AGON AG455UCX支持3000:1的靜態對比度,在顯示黑色畫面時,畫面更加深邃,進一步增強畫質精細度與畫面層次感。
4)獨特的OSD設置,遠程操控的優雅體驗。AGON AG455UCX在傳統OSD菜單按鍵的基礎上增加了遙控器操控功能,無需再伸手去摸按鍵,體驗更加優雅。
簡單和大家聊了一下這款顯示器的參數以及一些特點,大家應該對這款顯示器有了大概的了解。接下來筆者將從實際體驗的角度出發,來和大家一起看看這款32:9的超寬帶魚屏是否能在游戲領域帶來體驗的越級。
3、實際體驗
在游戲體驗方面,筆者選擇的第一款測試游戲是來自米哈游的《原神》,雖然是一款多端游戲,但米哈游在PC端的優化卻并未松懈,作為原生支持32:9分辨率的游戲,《原神》的帶魚屏體驗可謂十分優秀。在游戲中,你可以輕松看到比16:9分辨率更多的內容,沉浸感進一步獲得提升。
第二款測試游戲筆者選擇了《使命召喚:現代戰爭》,作為一款劃時代的FPS游戲,可以說是很多朋友對于3A大作的第一印象,在早期大部分游戲還是多面體建模或者室內對戰的時候,使命召喚就以超真實的畫質表現以及多樣化的特種兵作戰給了玩家帶來了完全不同的游戲體驗。不過考慮到時代差異,筆者這里展示的是重制版游戲畫面。
尤其是在筆者看完《奧本海默》后再次游玩浩劫之后關卡,碩大的蘑菇云在天邊爆開,斷壁殘垣的末日景象配合身旁士兵痛苦地哀嚎,無邊的絕望感涌上心頭,不禁讓人感到核武器的恐怖以及和平時代的來之不易,本關卡最終會在一片光芒后結束,也暗示著你操控士兵的陣亡。
其實本作還有許多非常經典的關卡,比如說雙狙往事,如果有沒玩過這款游戲的年輕朋友,筆者十分推薦你用這款帶魚屏嘗試一下,沉浸感是真的強。
第三款游戲筆者選擇了目前仍舊是開放世界賽車游戲一哥的《極限競速:地平線5》,本作你將會來到墨西哥,體驗這里的沙灘以及城區風光,就算你不喜歡賽車游戲,也請一定要體驗一下序章關卡,你將與飛機競速,加速沖進沙塵暴之中,體驗現實中根本不可能做到的事。尤其是在使用32:9的帶魚屏體驗時,就好像真的來到了沙塵暴之中一樣。
簡單用三款游戲體驗了一下這臺顯示器,筆者認為在賽車游戲以及重視場景搭建的游戲中,帶魚屏能夠帶來遠超普通顯示器的視覺震撼,沉浸感無可比擬,在VR以及AR尚未普及的今天,帶魚屏可能是目前最值得購買的沉浸式體驗設備。
4、理論測試
當然,雖然AGON AG455UCX在實際游戲中的表現的確非常驚艷,但畢竟人眼是會受到欺騙的。為了更加客觀地了解這臺顯示器,筆者接下來將對這臺顯示器進行理論測試。
本次測試的儀器為SpyderXElite校色儀,測試項目包括色域、色調響應、灰階、色溫一致性以及色彩精確度。測試前已把顯示器恢復出廠設置,并進行一小時的預熱。需要說明的是,因測試環境差異,實測結果可能會與官方數據存在輕微偏差。
根據SpyderXElite軟件的測試結果顯示,AGON AG455UCX顯示器sRGB色域的覆蓋度為100%,AdobeRGB色域的覆蓋度為83%,P3色域的覆蓋度為90%。
色調響應方面,已測量的黑色曲線應該盡量和淺藍色的“光度2.2”曲線保持一致,可以看到實測的黑色曲線和“光度2.2”非常接近,色調響應表現不錯。
灰階方面,AGON AG455UCX顯示器在30%—70%的亮度下表現穩定,整體色溫維持在7300K-7600K之間,波動幅度小,色溫略微偏冷。
色溫一致性方面,AGON AG455UCX的白點色溫在6900K—7300K之間,色溫表現十分優秀。最大亮度為387.4cd/㎡,接近官方宣傳水平。
色彩精確度方面,AGON AG455UCX測試的48種顏色平均ΔE值為2.05,最小值僅為0.37。考慮到測試誤差,它的色彩表現依然精確,人眼或基本上分辨不出色彩的差異。
5、外觀設計及OSD菜單
AGON AG455UCX的外觀其實比較傳統,并沒有采用目前比較流行的小底座設計,而是繼續使用經典的三角底座,但在底座支撐部分做了一些創意設計,這種中部鏤空的設計一方面增強了整體美感,另一方面也方便進行束線收納,可以說一個簡單設計既考慮了美觀性又考慮了實用性,不得不佩服AGON的設計師。
說到實用性,顯示器左側背面布置有耳機支架,可以幫助玩家進行耳機收納,日常使用更加方便。
縱覽整個背部,最引人注目的還是AGON的LOGO以及一長條的散熱孔。因為屏幕體積過大以及電源內置的原因,這款顯示器的發熱還是比較大的,在背部開槽的散熱孔和底部接口的散熱孔組成開放風道,能夠有效降低屏幕溫度。
接口方面,AGON AG455UCX擁有一個DP以及三個HDMI接口,方便用戶一臺顯示器外接多臺設備;Type-C接口具有90W功率的反向供電,支持一線投屏功能;通過USB上行接口,用戶可以將鍵鼠直接連接顯示器USB-A接口,切換多設備使用更快速。
OSD菜單方面,AGON AG455UCX采用了經典的一排按鍵設計,使用簡單沒有操作門檻。
在游戲設置中,用戶可以自定義游戲模式、暗場控制、游戲色調等功能,在畫面表現和延遲控制方面選擇適合自己的設置。
游戲設置內還支持切換輸入設備以達到無縫切換畫面的效果,對于多設備用戶來說,不失為一個好消息。
AGON AG455UCX的顯示器OSD菜單中還提供了豐富的色彩調節選項,用戶除了可調節亮度、對比度等常規顯示參數外,還可在顏色設置中調節色溫、對RGB色彩通道進行更為細致的調整。用戶可極為自由地進行調節設置,打造專屬于你自己的視覺體驗。
當然,以上所有OSD操作,用遙控器同樣可以做到,這樣就不用手靠感覺去摸索調試,日常使用起來更加省心方便。
6、說在最后
AGON AG455UCX在外觀方面擁有一些獨特的設計元素,雖然是異形屏但仍舊繼承了AGON自成一派的電競設計風格;OSD菜單按鍵布局簡單但功能卻并不簡陋,而且巧妙地引入遙控器,不僅方便用戶調節,體驗也更加高端。
當然這款顯示器也不是毫無缺點,畢竟這么大的屏幕,它的占地面積還是不小的,所以如果你想要購買這款顯示器,請務必換張大桌子。
(8326448)
ico Neo 官方宣傳圖
對于大多數用戶而言,VR 設備更像是一臺新世代的“家用機”:目前游戲體驗最好的 PCVR 需要性能強勁的筆記本支撐,而 PSVR 也需要 PS4 做支撐——毫無疑問,這些 VR 設備都只能靜靜地躺在家里,用戶能帶出的只有 Cardboard 類的設備,或者是 VR 一體機。這一類產品的體驗,與前者相比,簡直是云泥之別。顯示和性能不是唯一因素,缺少定位追蹤設備才是最關鍵的原因。沒有了定位追蹤設備,VR 設備基本就淪為全景播放設備了。
為了彌補 VR 一體機/Cardboard 定位追蹤設備的缺失,也不乏廠商為之開發單獨的定位追蹤套件。然而,這些套件大多數都是采用 outside-in 的追蹤方式,需要另外布置用于追蹤的基站或者標記點。在 HTC Vive 發布的時候,不乏玩家被繁瑣的基站安裝“勸退”。
定位追蹤功能必不可少,又要遠離繁瑣的設置,甚至希望具備一定的便攜性——這樣就不會被“拴在”PC 或者游戲主機附近。如果把一體機加上 inside-out 的定位追蹤技術,那么這一切問題都迎刃而解。所謂的 inside-out 技術與 outside-in 技術最大的區別在于,它不需要定位基站,僅僅利用雙攝像頭的視覺算法即可實現對空間位置的掌握。而鈦媒體記者這次拿到的 Pico Neo 就是這樣一臺將便攜性與定位追蹤融為一體的 VR 一體機。
如前所述,Pico Neo 解決的是定位追蹤與便攜性的問題:Pico Neo 的設計外形采用了與 PSVR 一樣的 ID 設計,把佩戴時候的重量通過頭箍轉移到了額頭上,而不是使用綁帶將設備壓在面部,頭箍的大小尺寸通過后方的兩個金屬按鍵進行調節,而頭箍上共有三片海綿墊,使得設備接觸頭部的位置相對較為舒適。
Pico 佩戴圖
眼睛距離透鏡之間也留有一定的距離,通過薄薄的硅膠層進行遮擋,以營造封閉的觀看環境,這樣做一方面有利于設備和面部的散熱,不會出現汗流滿面的情況;另一方面,是為了給佩戴眼鏡的用戶留出空間——這一代的 Pico Neo 并不支持視距調節的功能,“以前的設備雖然支持視距調節,但實際上還不如佩戴眼鏡的體驗好,”Pico CEO 周宏偉告訴鈦媒體記者,“因為有些用戶他們左右眼的眼鏡度數不一樣,在照顧到他們的體驗同時,我們還能把設備做輕。”
Pico Neo 俯視圖
整個設備的重量不到 400 克,同時根據購買的配置不同,有雙手柄和單手柄可選配置。相較于 PCVR,一體機光是少了用于連接的線纜,其重量就已經減輕很多,更不用提重量上了(曾經最輕的 PCVR 頭盔 Oculus Rift 約為 470 克左右)。
Pico 前面板&頭箍
Pico Neo 在定位追蹤上面采用的是 inside-out 的技術,在設備正面能看到兩個魚眼攝像頭,工作時兩個攝像頭協同工作,以 30FPS 速度掃描周邊環境,通過三角測量原理計算眼鏡與當前景物的距離。其原理與手機雙攝像頭拍攝虛化背景照片一樣,不過兩個鏡頭間距很大,精度更高。距離信息經處理后變換為空間位置信息,結合機身內部的三軸陀螺儀、三軸加速計獲得的信息,可以讓設備有效地獲取當前所處的空間信息。
這一切都是建立在 Pico Neo 采用了驍龍 835 平臺基礎上的,它采用異構運算結構,比如說攝像頭捕捉的圖像就可依靠 Adreno GPU 異構運算,實現了點對點連接,減少了單個任務處理的時延,同時盡可能增加并行任務數以最大限度減少 MTP(motion-to-photon,動作到顯示)時延。此外驍龍處理器早實現了傳感器接口統一與管理,各個傳感器的數據能直達到 SoC 各個子處理器中。
有了定位追蹤配合開發已經開發成熟的驍龍 835 處理平臺,再加上具備高精度 IMU(慣性傳感單元)的手柄,Pico Neo 的游戲體驗要比前一代的 Pico Goblin 出色許多。記者手上拿到的是單手柄版本,雙手柄版本會激活 Pico Neo 頭頂的超聲波傳感器用于偵測兩個手柄的相對位置。有了手柄,搭配上高達 90hz,單片屏幕為 1440×1600 分辨率的 LCD 快閃屏,在操作與顯示方面體驗已經是目前 VR 一體機的頂級水平了。
Pico 控制器
另外值得注意的一點是,在體驗游戲的時候,用戶不一定要佩戴耳機——Pico 的揚聲器被放置在了頭箍上靠近耳朵的底端,頂端則是音量調整鍵,3.5mm 耳機口和三個功能鍵(主頁鍵,確定鍵以及返回鍵)。
Pico Neo 功能鍵
Pico Neo 支持 QC 3.0 快充,隨機標配 9V2A 18W 的 USB-C 快充頭,能在大約 1 小時 20 分鐘左右充滿 Pico Neo 3800mAh 的電池。根據官方提供的數據,滿電狀態下的 Pico Neo 能夠支撐 3 小時左右的游戲與影音時間,對于大多數用戶而言,能夠使用 VR 設備連續體驗 1 個小時就已經是極限了,續航以及充電耗時完全不會是問題。
記者拿到的設備里預裝了 Pico 自己開發的《Dino Crisis》,《破曉喚龍者》以及《雇傭兵》。《Dino Crisis》是一款 Q 版射擊游戲,玩家在游戲中通過手槍和劍消滅噴火的小龍。得益于 Pico Neo 上的一對魚眼攝像頭,記者不僅可以通過搖擺頭部,還能通過下蹲的方式,躲避游戲中小龍的攻擊。而另一款游戲《破曉喚龍者》則是充分利用了 Pico 游戲手柄,玩家通過不同的按鍵切換技能,揮動手柄以釋放技能打擊目標;玩家可以通過觸碰按壓控制器上的觸摸板區域,甚至是在現實世界中行走達到位移的目的。
Pico 自帶游戲 Dinocrisi
在體驗游戲的時候,為了達到最佳體驗,最好是站著體驗。Pico Neo 在用戶體驗內容的時候,在虛擬世界里會出現“保護區”——一片由虛擬線條圈出的安全空間,在這片空間里,玩家可以不用擔心碰撞到現實世界內的物品,這與 Pico Neo 采用了 inside-out 的技術不無關系。這個保護區的范圍大約在 2×2m,如果要在虛擬世界里的進行遠距離的移動,建議還是通過控制器進行移動。
Hidden Fortune
在實際體驗中,由于 Pico Neo 的屏幕刷新率高達 90hz,大部分游戲都不會出現肉眼可見的延時,然而在現實世界中環境比較復雜的情況(比如光線較暗,或者周圍空間中有很多物品),游戲畫面會有些許卡頓,尤其是在記者體驗《Hidden Fortune》這款游戲的時候——在游戲中,玩家需要從大量懸浮的物品中找出目標物件,這很考驗設備的圖像渲染性能。在光線和環境復雜的情況下,這款游戲對于設備的計算能力要求很高。不過,如果重新調整“保護區”的范圍,將保護區移到更為開闊的地方,游戲畫面又會變得流暢起來。
Pico Neo 自帶的 VR 視頻內容-自游
Pico Neo 的用戶不僅可以通過 Pico 自有的商店下載游戲和視頻內容,還可以通過 Viveport 下載 VR 內容。就目前而言,消費級的 VR 市場依然處于教育市場的階段,各大硬件廠商聯合起來,“共享”內容有助于 VR 市場的快速發育。而 Viveport 可以稱得上是 VR 內容和質量最高的 VR 內容平臺了。
Viveport For PC
目前 Pico Neo 基礎版(只含一只 3DoF 控制器)的售價為 3999 元,面對尚未成熟的市場,這個價格似乎不足以說服新用戶嘗鮮。周宏偉也坦言,Pico 也在探索如何讓一體機在提升體驗的同時,盡可能地降低售價。
毫無疑問 Pico Neo 已經在這個方向上邁出了一大步:不僅佩戴舒適,而且設置簡單,充好電即可擁有近似 PCVR 的體驗——無需架設基站的定位追蹤和針對移動平臺優化的游戲內容。雖然在數量級上,移動平臺尚不如 PC 平臺,但隨著時間的推移,內容會逐漸豐富起來。(本文首發鈦媒體 作者/唐植瀟)
更多精彩內容,關注鈦媒體微信號(ID:taimeiti),或者下載鈦媒體App
家都了解VR是一種可以創建和體驗虛擬世界的計算機仿真系統,是利用計算機從而生成一種模擬環境,可以讓用戶沉浸到該環境中。下面這篇文章是筆者整理的關于VR的科普內容,想要了解的同學可以進來看一看。
你有沒有想過創造一個世界?
或者,如果讓你當創世神的話,你知道該怎么構造這個世界嗎?
千百年來,人類一直試圖回答這個問題:用語言、用圖像、用視頻。可是還是不夠。我們從未能真正重現我們所感受的世界,只能憑借真實經驗的腦補,將它們當做真的而已。
媒介限制了我們對世界的描摹。
有沒有一種方式,能夠讓我們真正地拿起上帝的畫筆?
有一群人,試圖用 VR 給出答案。
VR 的歷史可以追溯至 20 世紀 60 年代,Philco (現被飛利浦收購)的兩位工程師 Charles Comeau 和 James Bryan 制造出了一款用于軍事目的頭戴式顯示器 HeadSight,該設備能夠顯示來自隔壁房間攝像頭的視頻畫面,攝像頭的位置可根據佩戴者的頭部移動而移動,從而塑造出一種臨場感。
圖一,圖片來自 THE VR SHOP
作為人類歷史上的第一款量產頭戴式顯示器,Philco Headsight 的視場角僅有 40°,刷新率也僅有 10 Hz,而重量則是…未知。
60 余年過去了,早 Philco Headsight 五年的達特茅斯會議,經歷過潮起潮落,終于在上一年迎來了它們最重磅的主角:ChatGPT。
而頭戴式設備也并非吳下阿蒙,空間定位、眼動追蹤、手勢識別、Micro LED、Pancake 光學模組,硬件、算法與工程學的結合,讓上帝的畫筆呼之欲出。
接下來,就讓我們進一步走進 VR 的世界。
正如把大象塞進冰箱需要三步,制造一臺 VR 設備也是如此:
我們先來談第一步。
讓世界在我們的眼前呈現,這件事我們并不陌生,已然創造了一個賽博世界的我們,透過手機的屏幕,另一個世界的光映入眼中。把手機換成 VR 設備,道理也是一樣的:我們需要一塊屏幕,然后我們把屏幕的光映入眼中。
我們需要一塊屏幕,以顯示另一個世界的豐富。古早的時候,因為看重 AMOLED 的色彩飽和度,VR 顯示屏用的都是 AMOLED,但 AMOLED 的像素密度低且難以提升,并且存在紗窗效應(像素低導致的,人眼可以看到像素點),所以便更換成了 LCD 。
LCD 是液晶顯示屏,對比度、色域、亮度都不夠,同時刷新率低。為了改善 LCD,Fast-LCD 又被引入,顧名思義,Fast-LCD 采用了超速驅動技術,刷新率可以提升到 75-90 Hz,同時用了新的液晶材料,呈像效果上也有所改善。
但 Fast-LCD 仍然存在問題,由于是背光技術,不能自發光,需要有背光光源,所以面板上容易出現漏光現象。為了解決這個問題,業內通常采用 Fast-LCD + Mini LED 背光光源的方案,將 Mini LED 作為 Fast-LCD 的背光光源。Mini LED 實際上就是在背板上集成了尺寸更小的 LED 燈珠,所以亮度、對比度都會有所增強。
目前,Fast-LCD + Mini LED 背光光源已成為 XR 設備的主流方案, 但 Micro OLED 和 Micro LED 將是未來的探索方向。兩者都是自發光技術,無需背光,無論從色域、亮度、對比度,還是功耗、分辨率等方面都領先其他方案。隨著Apple vision pro 采用 Micro OLED,Micro OLED 的發展將進一步加速。
圖二,表格由 MicroDisplay 整理
如果說把手機的光映入眼簾,是一件再自然不過的事。VR 設備的光就有所講究了,從業者至少需要解決三個問題:
乍聽起來,三個問題都如天方夜譚。然而受惠于神經科學和認知科學的發展,也得益于自托勒密時便興起的視錯覺研究,看似無能為力的問題亦都有了解法。
這都要從人的視覺機制說起。
1)人眼的視覺機制
人眼是如何看到事物的?不妨以照相機作喻:人眼是凸透鏡成像,晶狀體是照相機鏡頭,視網膜是照相機膠片。
圖三,圖片來自網絡
物體光線從瞳孔進入眼睛,經由晶狀體(凸透鏡)折射,最終形成在視網膜上的倒立實像,經由人腦的算法自行復為正位。
凸透鏡的成像原理,初中時都學過,透鏡把平行光線匯聚于一點,形成實像/虛像。近大遠小實際上也是因為凸透鏡的作用(經過軸心的光線入射角減小,所以高度增加)。
圖四,表格來自均一教育
如圖所示,焦距固定,物距不同時,成像的距離也有所不同。當物距小于焦距時,物體成虛像,也就是放大鏡的功效。
圖五,圖像來自百度百科
2)凸透鏡的作用
運用凸透鏡成像的規律,把光映入眼中的其中兩個難題就可以解了。根據上圖可得,當物體放置到透鏡的一倍焦距內,便會在一倍焦距到二倍焦距之間形成一道正立放大的虛像。
什么是虛像呢?即物體的光經過反射而映入眼中的,光與光之間不能形成交匯,但人眼下意識覺得光是直線傳播的,所以會自動反向延長光線,使其交匯于一點,從而形成虛像。
圖六,圖片來自光學影像與鏡頭
VR 的原理和人眼一樣,利用了凸透鏡的作用。通過在人眼和屏幕間放置一塊凸透鏡,屏幕放置于透鏡的一倍焦距內,使其在 2 倍焦距出形成了屏幕內容的虛像,根據 B 站 Up 主消失的模因推算,大概是 280 英寸的巨幕大屏。
圖七,圖片來自 Up 主消失的模因視頻截圖
由于凸透鏡的作用,屏幕的成像距離也被調整,如 Quest 2 的像距在 1.3 m,已經能夠滿足人眼的觀看范圍了。
不過,由圖六可知,人眼與透鏡、透鏡與屏幕間,都需要保持合適的距離。如果透鏡離人眼過近,像距也會被拉近,從而不能滿足人眼的觀看范圍。如果透鏡過遠(仍要小于焦點),那整個設備的體積又會增大。
透鏡的距離也影響著 FOV 的大小。這里要再稍微解釋下 FOV 的概念,一般我們所談論的都是水平 FOV(field of view),是指屏幕被透鏡折射,最頂部和最底部的兩道光線射入人眼所形成的夾角。
FOV 越大,人在屏幕中所看到的虛擬視野就越大。但問題在于,想要增加 FOV,要么把透鏡后移,讓其更靠近人眼,或者增加鏡片的厚度。透鏡后移,會導致像距被拉近,不能滿足人眼的觀看需求;增加鏡片厚度,又會導致設備整體過重,并且同樣的,像距依然會有問題。
實際上,FOV 并不是越大越好。現實世界中,人正常聚焦的視野范圍一般在 110°,如果物體出現在 110° 外,人一般要轉頭去看,增加疲勞度。所以,只要保證 FOV 在 110° 左右,其實也就夠了。
另一方面,透鏡所呈現的放大版屏幕,實際上是原來屏幕的投射,屏幕分辨率是沒有變的,FOV 越大,對屏幕分辨率要求就越高,差的屏幕甚至能看到像素點。從工程學而言,找到 FOV 同屏幕、透鏡厚度、設備整體尺寸的平衡關系,才是實際的難點。
3)透鏡的演變
在實際工程中,透鏡的演變,或者說 VR 中光學方案的演變,大體可以從非球面鏡片到菲涅爾鏡片,再到 pancake 折疊光路。
圖八,圖片來自網絡
一般的球面鏡片,鏡面各處曲率相同,所以光從鏡片折射出來,會聚焦在不同的位置,也因此導致模糊和外圍失真的情況,這種現象被稱為球面像差;非球面鏡片就是在球面鏡片的基礎上,改變表面的曲率,使得折射出來的光能夠匯聚在一點上。這樣,球面像差的問題就能得到緩解或消除;但非球面鏡片有個問題,它太重了。
于是菲涅爾鏡片被搬到了 VR 中,簡單來說,透鏡的主要作用是為了折射光線,而透鏡中存在一部分區域不折射光線,既然如此,直接把這部分拿掉,也完全不影響透鏡的功能。菲涅爾憑著這樣的方式,減了一波重量。
但菲涅爾鏡頭各處曲率不變,焦距無法進一步被壓縮,整體仍然較重,VR 眼睛也無法做得輕薄;同時由于曲面不連續,成像精度受限。非球面和菲涅爾鏡頭,都是采用平行光路的方案(光從透鏡中透出,進入人眼)。想要再輕薄,目前最佳的實踐是采用折疊光路(拉近焦距,通過多重反射進入人眼,既縮小焦距又保證成像)。
pancake 的名字也反映出了它的結構,就是像餅干一樣的四層鏡片(各家有不同,如果用 micro led 會有五層),它的光學原理不必深究(反正也搞不懂),只需記住它的解決方案是通過折疊光路使得焦距近一步被壓縮。
焦距被壓縮,其實不單改變厚度,也改變了視場角,近大遠小,焦距變短,那視場角就會變大。當然這只是理論上的(理論上限 pancake 可達 200°),現實中由于工藝的問題,pancake 方案的視場角還沒有菲涅爾廣,在 60 – 90° 之間,而菲涅爾可以達到 100° 左右,當然,離人眼的 120° 還有一段距離。
當然,pancake 也有自己的問題,因為有兩次反射的原因,理論上 pancake 的入射光線亮度只有一開始的 25%,這就要求光源本身得很亮。
同時由于多路反射,容易出現鬼影的情況,對工藝要求很高。但這些都是可解決的問題,平行光路有它的上限,如果要塑造沉浸感 + 便攜的設備,折疊光路還是更好的方案。
由于 pancake 「損光」的特性,屏幕亮度就顯得尤為重要,目前主流的搭配仍然是 Fast LCD + Mini LED 背光+ Pancake,但更理想的方式是 Micro OLED + Pancake,相比于傳統 LCD 的 500 尼特亮度,Micro OLED 的亮度可達 1000-6000 尼特。
另外值得一提的是,既然是折射,畫面一定會失真。現行的光學方案都是先讓屏幕中顯示的畫面先失真(桶形畸變),再通過透鏡折射恢復正常(透鏡會通過枕形畸變將桶形畸變的圖像恢復正常)。
圖九,圖片來自 POMEAS
4)沉浸感的實現
如果說凸透鏡解決了近眼成像和視覺放大的問題,那么還留存著一個尚待解決的問題:深度感知。這也是實現 VR 沉浸感的關鍵。
解決方案其實再簡單不過,只需在透鏡前放置兩塊屏幕(或一塊屏幕隔成兩塊),分別呈現同一圖像的不同成像角度即可。
圖十,圖片來自網絡
人眼是個非常神奇的存在,本質上當我們看向三維物體時,左右眼看到的其實是同一物體的不同角度的平面成像圖像。當兩種不同角度的圖片到達人腦后,人腦內置的視覺算法可以自動將兩張平面圖片合成一張立體圖片。
VR 成像,由于所有的內容都只呈現在屏幕上,而屏幕是平面的,所以無法像真實的三維物體一樣,由于視差(兩眼看到的角度差異)的存在而感受到立體感。所以,一不做二不休,干脆在兩塊屏幕上呈現同一物體的不同成像畫面,利用大腦的自動合成功能,模擬立體感知。
雖然,雙目視差的機制讓 VR 眼鏡能夠模擬三維影像的立體感。但沉浸感除了立體,還有對于深度信息的感知。簡言之,怎么區分物體離我們的距離。
5)遠近感知
人眼感知世界的方式,主要依靠四種機制:
其中,雙目匯聚、單眼匯聚和大腦補充都能幫我們感知到世界的遠近信息。在日常感知中,大腦補充其實是最為常見的體驗,因為我們在觀看視頻時,視頻畫面本身是 2D 的,可我們卻能從中判斷出物體的遠近,很重要的原因就是大腦補充。
大腦補充,簡言之即人腦根據經驗的總結,通過一些畫面線索進行的距離判斷,比如近大遠小(學名仿射)、遮擋關系(近處遮擋遠處)、光照陰影、紋理差異、先驗知識(比如飛機和風箏同樣大,但飛機比風箏遠)。這些知識學過畫畫的同學不會陌生。
雙目匯聚(vergence),簡單理解,是指兩只眼睛看向同一物體,這個過程需要轉動眼球肌肉,使得雙眼聚焦同一物體。當物體靠近或遠離眼睛時,匯聚角(圖中所示的夾角)也會變大縮小,同時眼部肌肉會收縮或放松。也即,通過感知匯聚角的范圍和睫狀肌的緊張程度,人眼可以分辨物體的遠近。
圖十一,圖片來自 Relative contributions to vergence eye movements of two binocular cues for motion-in-depth
單眼調節(Accommodation):眼睛依靠睫狀肌進行聚焦控制,越靠近人眼的物體,成像會越模糊,通過模糊程度判斷物體的遠近。當眼睛聚焦在近處物體時,遠處物體會模糊;相反,當聚焦在遠處物體時,近處物體會模糊。
單眼匯聚只依靠單眼即可判斷,一個典型的實驗是:閉上一只眼睛,左右手分別豎起一只手指,與眼睛呈一條直線。當眼睛聚焦于近處手指時,遠處手指模糊;反之亦然。本質上,單眼匯聚和雙目匯聚是一體兩面的存在,前者告訴大腦物體離人眼的絕對距離,后者告訴大腦雙眼視線形成的絕對角度,兩者都是在物理上可測量的。
VR 中的遠近信息傳遞,主要運用了大腦補充,但因為屏幕的距離是固定的,透鏡的距離也是固定的(pancake 之前),所以雙目匯聚和單眼匯聚的信息是缺失的,而這也直接導致了所謂的 VAC 問題。
在真實世界中,人眼的匯聚距離和調節距離應該是一致的(觀看遠處物體時,眼睛聚焦到遠處;觀看近處物體時,眼睛聚焦到近處),反映在物理層面則是控制眼球轉動的眼部肌肉和控制聚焦的睫狀肌同步運動 。但 VR 中,由于像距是固定的,因此無論觀看畫面中的遠處或近處物體,眼睛都只能聚焦到屏幕上,這時,雙眼肌肉與睫狀肌便不再同步了。
圖十二,來自維基百科
一般而言,有兩種方式解決 VAC 問題。一種是光場技術, VAC 的本質是由于屏幕不含深度信息,而采用腦補的方式進行模擬,從而導致了眼部肌肉與睫狀肌的不協調。
那如果讓屏幕發出的光,一開始就不相同(比如畫面中的遠景發 A 光,近景發 B 光),人眼就可以獲得深度信息,問題就得以解決了。另一種方式是通過可變焦距 + 眼動追蹤解決(第三部分會詳述)。
眼動追蹤確定用戶的注意焦點,通過可變焦距實時改變焦點處的焦距,進而改變成像距離,使得會聚距離與調節距離保持一致。
目前光場技術還不成熟,而業內已采用的 pancake 方案可以實現多重變焦,有望在第二種方案上實現突破。
以上我們所討論的僅僅是靜態的呈現,而真實世界是動態的,我們每時每刻都在與世界本身交互。因此,盡管靜態的 VR 世界已經如此龐大,我們仍然不能停下來,駐足欣賞此刻的成果,更艱難的事情在于從照片到影像的躍升。請繼續保持耐心。
試想,當我們觀察現實世界上,我們會移動,轉頭,于是我們看到事物的不同角度和大小。當我們靠近,聲音變強,畫面變大;當我們遠離,聲音減弱,畫面變小;當我們圍繞物體,則看到它的側面。正是詩中所言:橫看成嶺側成峰,遠近高低各不同。
有一個專業術語,DOF(degrees of freedom),用于衡量人活動的尺度。如果把空間分為 X,Y,Z 軸,則一共可以包括六種移動方式:沿 X、Y、Z 平移;沿 X、Y、Z 旋轉。
所謂的 6DOF,其實便是指包含這六種情況的活動類型。
圖十三,圖片來自網絡
VR 空間中,本質上所有的信息都只是投射在眼前兩塊屏幕上的平面信息,遠近、側面并不存在。所以它其實是模擬用戶發生相應活動后的視覺呈現效果,直接投射如人眼。
比如當人靠近某個物體,屏幕畫面會放大;轉頭就能觀察整個空間的全景,不是用戶真的來到另一片空間,而是算法根據用戶的當前活動判斷,并進行實時渲染。
目前的算法,主要是以頭盔的活動情況為標準,通過 IMU 和追蹤攝像頭進行空間定位。空間定位是 VR 的核心之一,因此有必要具體闡述。
1)IMU
IMU,全稱為 Inertial Measurement Unit,翻譯為慣性測量單元,一般指測量物體角速率和加速度的裝置。我們經常看到,一個名詞 MEMS 與 IMU 伴隨出現。
MEMS 全稱 Microelectromechanical Systems,翻譯為微機電系統傳感器,指內部結構在微米級別的傳感器。
MEMS 有很多種,比如 MEMS 加速度計、MEMS 陀螺儀。
MEMS 和 IMU 是兩個獨立的概念,并不存在包含關系,不過兩者存在交集。比如上面提到的 MEMS 加速度計 和 MEMS 陀螺儀,既屬于 MEMS ,也屬于 IMU。
一般而言,IMU 又包含三種傳感器:加速度計、陀螺儀和磁力計。
市面上的一些叫法,如六軸陀螺儀,其實是三軸加速度計+三軸陀螺儀;九軸陀螺儀,則是三軸加速度+三軸陀螺儀+三軸磁力計;十軸陀螺儀,是在九軸陀螺儀的基礎上再加一個氣壓傳感器,獲得海拔高度,從而獲得物體的高度。
在 VR 的應用場景中,一般采用九軸陀螺儀,實現 3DOF 的檢測(Roll 、Picth、Yaw 三種動作,見圖十二)。
但光靠 IMU 無法檢測到平移的動作(沿三軸平移),一般還需要輔助攝像頭等其他設備。
2)追蹤攝像頭
這里要談到技術路徑的演變,最早的平移定位,采用的是外部定位方式,直到一體機的風潮愈烈和 SLAM(空間定位算法)的發展,才漸漸轉為內部定位。不過在一些要求超高精度的環境下(比如虛擬場館或動捕),都還是采用外部定位的方法。
技術路徑的演變,從 Outside-in 到 Inside-out。
本質的區別,Outside-in 是在外界空間中有一套錨定的裝置,構建一個相對坐標系。通過裝置與 VR 設備的互動,檢測頭盔和手柄的當前位置。在由外而內的系統中,多個固定的外部攝像頭用于跟蹤頭戴顯示設備的姿勢(3D位置和3D方向)。外部攝像頭跟蹤位于頭戴顯示設備和控制器(如果有)上的一組參考點。
Inside-out,是依靠光學追蹤,在 VR 頭盔上安置攝像頭,讓設備自己檢測當前外部環境的變化,再經過 SLAM 算法(Simultaneous localization and mapping)計算出當前的空間位置。
Outside-in
Outside-in 路徑中,最有名的有兩種技術方向:- Cculus 的 Constellation 紅外攝像頭定位系統;- HTC 的 Lighthouse 定位;先說 Constellation,Oculus 的頭盔和手柄上都布滿了紅外傳感,以固定模式閃爍。
房間中布置了紅外攝像機,攝像機以特定頻率拍攝頭盔和手柄,由此得到一組圖片,并得到這些紅外的點的特定坐標,由于頭盔和手柄的三維模型是已知的,通過 Pnp 求解(可以理解為一種復雜的數學計算)能夠得到點的 6 DoF(加上 IMU 后)。
圖十四,圖片來自 GamesBeat
至于用紅外,則因紅外波可以規避大部分顏色的影響,不會出現誤判。但紅外容易被遮擋,所以在空間中要布置多臺紅外攝像機,才能準確判斷三維信息。實際上,Optitrack 和 Zero Latency 用的都是同樣的方案,只不過 Zero Latency 用的是可見光,更容易受到顏色等噪聲干擾。
主動式紅外光( Constellation)主要受到攝像頭精度(因為根據圖像判斷)和光學算法的影響,同時價格昂貴,布置也比較麻煩,在移動浪潮下不太適用了。
另一種則是 Lighthouse 定位,室內安置了兩臺激光發射器,安放在房間對角,而在頭顯和手柄上有 70 多個光敏傳感器。激光發射器從水平和垂直方向掃射空間,發射器為 0 度時,開始計時,激光到光敏傳感器時,光敏傳感器記錄到達時間。由于發射器的旋轉速度是已知的,所以根據時間和轉速能夠計算光敏傳感器相對發射器的角度,一次掃描完成后,就可以進行空間定位。
圖十五,圖片來自 HTC VIVE LIGHTHOUSE CHAPERONE TRACKING SYSTEM EXPLAINED 視頻截圖
相比紅外,Lighthouse 的方法方便很多,沒有那么多光學計算,誤差和延時都有所保證,可以達到 20ms 以內。但激光掃描區域一般在 5 * 5 * 2 m 范圍內,如果要擴大,需要多個燈塔,這時候多空間的融合又會出現算法問題。為了實現定位,光敏傳感器需要區分不同來源的激光,而光塔過多也會相互干擾。
另外,Lighthouse 在安裝和成本上仍然要比 inside-out 高,但延時性低,精度高,在需要特別擬真的環境仍然需要這種技術。
Inside-out
Inside-out,主要通過攝像頭拍攝周圍的畫面,通過圖像識別判斷房間景物的一些特征點,通過與上一次拍攝時的特征點位置進行對比,從而得到特征點的位移。與此同時借助 IMU 得到輔助數據,通過算法得到頭顯的位移情況。同樣,在手柄上存在一些小白點,攝像頭也通過捕捉小白點的位移判斷手柄的變化情況。
因為是可見光識別,所以房間內得保持一定的亮度,不能關燈。
此外,因為依靠攝像頭識別外部的標記點,如果角度識別精讀差異 1 度,整個距離可能偏移幾厘米,Inside-out 對精度要求十分之高。又由于需要計算圖像顯示,所以它的延時沒有辦法像 Lighthouse 一樣低。
Inside-out 主要依靠 VGA 攝像頭和深度識別攝像頭進行 3D 空間定位。VGA 攝像頭,配合深度識別攝像頭,主要用來做頭部空間定位和手勢識別。VGA 是指的 VGA 格式的分辨率,640X480 ,黑白。深度識別攝像頭,主要用來識別物體的距離(實際上也可以識別骨骼點,但不需要),主要有三種技術:
有了空間定位,VR 可以實時渲染出對應的畫面結果。然而人不止和世界交互,也要和人交互。試想,如果我們想要在虛擬空間中同家人,親朋好友交流,那么我們勢必需要看到他們的神情,這其中最重要的便是面部表情和眼神。
圖十六,圖片來自 MARK ZUCKERBERG: FIRST INTERVIEW IN THE METAVERSE | LEX FRIDMAN PODCAST 視頻截圖,圖為 ZUCKERBERG 和 FRIDMAN 在 VR 世界中的面部重建
1)面部識別
面部識別主要靠攝像頭,放在頭顯內部,追蹤如額頭、下巴、臉頰的變化情況,追蹤原理和空間定位差別不大。一般可以用在如下的場景下:
面部識別存在的問題是,當戴上頭顯時,人臉 60% 的地方是被遮住的。Magic Leap 的想法是,雖然有的地方被遮住,但可以根據周圍未被遮住的肌肉變化來推測。當然,越多的攝像頭還是更有助于捕捉真實表情。
Oculus 在訓練面部識別時,用了 9 顆攝像頭,只是到了消費級,才用 3 顆攝像頭并配合 9 顆攝像頭訓練出來的算法進行面部追蹤。
2)眼動追蹤
眼部追蹤主要靠眼動追蹤攝像頭。眼動追蹤的原理是利用光攝入瞳孔反射到角膜的原理,測算角膜和瞳孔的距離來判斷眼動的情況。VR 的眼部周圍有一圈紅外光 LED 燈,向眼睛發射紅外光,光從瞳孔反射到角膜上,攝像頭拍攝圖像,判斷瞳孔和角膜的位置,從而判斷眼動的情況。
眼動追蹤帶來的益處很多,除了眼神與渲染的人物同步,最熟知的是眼動交互,和手勢交互一起可以帶來自然的交互體驗。另一個重要的好處在于,人類的視力在整個視野中并不均勻。中央凹是視網膜的中心區域,視力最好。
在中央凹區域外,視力逐漸下降到視網膜邊緣。這樣,實際上畫面的渲染只需要關注到視線聚焦處,這樣可以降低計算渲染成本。此外,有了眼動追蹤后,VR 的瞳距可以根據佩戴者的身份自動調節;在運營層面,可以根據眼睛聚焦情況進行數據分析。
還有一個隱藏的好處,主要是體驗層面。VR 中的 3D 成像效果,是通過向每只眼睛顯示一個獨特的 2D 圖像來創造 3D 感覺,其中每個圖像的渲染略有不同,以產生雙眼視差,從而帶來 3D 效果。
但是,用戶眼睛和圖像之間的距離(也即顯示屏與人眼的距離)是固定的,所以實際上會導致眩暈問題,也就是所謂的視覺匯聚調節沖突(VAC)。通過眼動追蹤 + 變焦顯示器,VAC 可以得到緩解。
變焦顯示器使用眼動追蹤來主動跟蹤眼睛的會聚,并使用具有可變焦距的聚焦元件來匹配眼睛的會聚。至于變焦技術,主要是機械式變焦(電動齒輪,改變鏡頭和物體、視線焦點的距離)。
3)手勢識別
有了面部表情和眼動追蹤外,我們還需要手勢識別,以進一步與虛擬世界交互,比如拾取、點擊,或只是簡單的 say hello。手勢識別所用的攝像頭和空間定義一致,都是 VGA 攝像頭,識別原理類似。
手勢識別主要的難點在于:一般攝像頭的視場角都講究水平,垂直視場角的高度不夠,所以手跑到攝像頭的視線范圍之外就很難辦。而在人類大部分的自然任務中,手都是處于下視野的范圍,手勢追蹤的實際難度會很大。
另外,根據對照實驗,采用手勢追蹤的任務效率,會低于直接用手部控制器的方式,一是因為延時,二是因為純手勢交互缺乏觸覺提示和反饋,而人需要后兩者以定位操作對象。Apple vision Pro 通過手眼融合的方式,提供了一種視覺反饋,變相彌補了下純手勢交互的問題。
此外,它還配了六顆攝像頭(一般是 4 顆),其中兩顆專門垂直向下以捕捉下視野的手。
4)全彩透視
如果說空間定位和面部、眼動追蹤是與虛擬世界交互。那么 VR 很快有了一個更大的野心:升級成 XR,捕捉現實世界的動態。全彩透視,使用 VST RGB 攝像頭,用于捕捉帶著 VR 頭盔的用戶所看到的真實景象。VST 指 vedio see through,RGB 是圖片顏色格式。
VST 原先都是黑白的,用來看周圍空間,現在成了 MR 的入門券。無心插柳柳成蔭,原先是為了讓用戶能夠看到周圍的真實空間,以確定活動范圍的透視,卻悄然一變,變成了與 AR 類似的功能。
不過囿于成本,VST 也沒有全部采用全彩。如 Quest pro 用 VST,兩顆黑白鏡頭建場景,一顆 RGB 攝像頭用來補色,不過現在也出現了雙目的 RGB,體驗越來越好。
VST 要注意三點:
其實,雖然 VR 推出了全彩透視的功能,但并不意味著 VST 一定要放在一體機上,那樣相比于 AR 并沒有太大的優勢。如果拿 PC 和手機類比 VR 和 AR,VR 是 PC 的延伸,承載的是重活,而 AR 更擅長可移動的小場景。VR 在肉眼可見的未來,很難達到出街的可能,VST 的作用僅僅是家庭活動,例如游戲、音樂、繪畫。
圖十七,Hauntify Mixed Reality 讓鬼出現在家中真實房間
VR 的 VST 中,真實世界的元素更多成為一種背景,增加活動本身的樂趣,但卻不是主體。試想,如果 VST 和 VR 主機分離,VST 作為 VR 的配件,可以配置到工廠、醫院,通過無線傳輸實時渲染,那是否能夠真正實現數字孿生?而 VR 也將真正闖入工業級的應用。
旅程到這里,其實已經結束了。VR 的核心就是光學方案和空間定位,以及基于此的渲染和定位算法。不過,為了方便讀者后續閱讀某些拆解報告時,對上述內容外的一些概念不太了解,特在最后一章附上相關的名詞解釋。
手機上一般配 X 軸,因為手機薄,Z 軸行程短,效果不好;手柄上就不是了,雙關齊下;早期還有一種轉子馬達,利用電磁感應,用電流導致的磁場驅動轉子旋轉而產生振動。這種方法的問題是延時,缺乏方向性,震動的手感不好。
這應該是我自《張小龍 22 年》后寫的最長的文章了,無論是字數還是時間。寫長文不容易,記得當時寫張小龍的時候,大概花了一個星期,雖然在微信上沒發出多久就被騰訊封了,但在 pmcaff 上還有留存(鏈接放在了參考中),并得到了池建強老師的推薦,也算滿意了。
寫這篇文章,比寫人物要困難多了,太多的專業術語,以及技術理解。原先我以為自己懂了的概念,其實真正串起來,又延伸出許多枝蔓,又一點點去查。
好在有 perplexity 的幫助,簡化了我的一些工作量。不過寫作的樂趣正在于此,它是一座迷宮,有時只想理解一個概念,又牽扯到另一個概念,概念與概念之間的關系又引發了新的著迷。
有一些很不錯的信息源在此過程中也被發現,例如雷鋒網的 VR 專題、知乎上胡癡兒的早年回答,以及 B 站 Up 主消失的模因的精彩視頻。可惜,前兩者已經不再更新了。
當然,最驚喜的是終于發現了一本介紹 VR 全貌的書籍,《The VR Book》,雖然成書于 2016 年,但作者功力深厚,仍然不失為理解 VR 的最佳材料之一。
這篇文章,大概可以 2 個月以來,對 VR 的研究結果,是給自己一個交代。里面一定有諸多問題,受限于自己當前的見識,有所偏頗,但第一步既已踏出,便可以在后續的學習道路上增刪改查,可謂是寫完后最大的收獲了。我想,在消費電子業無聊的狀態下,有一件有意思的事物可以研究,便很快慰了。
參考:
專欄作家
善寶橘,微信公眾號:善寶橘,人人都是產品經理專欄作家,2019年年度作者。南大傳播學碩士,崇尚終身學習的互聯網斜杠青年,專注新媒體、游戲領域的運營策劃。
本文原創發布于人人都是產品經理。未經許可,禁止轉載
題圖來自 Unsplash,基于CC0協議
該文觀點僅代表作者本人,人人都是產品經理平臺僅提供信息存儲空間服務。