本文由 樂視IUEI（ID：）授權(quán)發(fā)布
樂視IUEI是一個技術(shù)交流平臺，將第一時間向行業(yè)展現(xiàn)樂視最新的技術(shù)成果、項目經(jīng)驗與工作感悟。
前言
VR 在游戲和互動娛樂方面的前景已經(jīng)很清晰了。對于很多人來說，那是讓他們這么多年沒有放棄的原因。但是 VR 還有更多的潛力——成為一個像手機一樣改變世界的真正全新的計算平臺。
雖然這一愿景已經(jīng)持續(xù)了幾十年，并且在虛擬現(xiàn)實中占有突出的地位，真正讓 VR 廣泛應用、沖擊大眾市場的道路卻不那么清晰。殺手級應用會是什么樣的？什么樣的使用場景能夠更早的成為主流？哪些會滯后一些？
本文將和大家聊一聊各種消費級應用所需要的知識和能力。這張圖是整個分析的總覽，我們將在下面和大家詳細講述。
技術(shù)基礎(chǔ)
VR 不是單一的技術(shù)，而是很多技術(shù)的集成。這些技術(shù)大多處于不同的發(fā)展成熟階段。不同的消費級應用對于這些領(lǐng)域的應用也不太一樣。所以任何對進入市場時機的分析必須以對技術(shù)的了解為基礎(chǔ)。
VR 作為一個通用的計算平臺有四個廣泛的技術(shù)領(lǐng)域。1意圖捕捉（ ）意圖捕捉，是一種能夠在任何時刻可靠和流暢的理解用戶需求的能力，或者叫做輸入方式，例如在VR游戲中的用戶行為捕捉。迄今為止，消費級 VR 在這方面相當缺失。最近 Valve 和 Touch 的進展將極大的改善這一處境。手勢輸入仍是用戶最自然的表達意圖的方式，下圖為 Touch。
除了手勢輸入，由于目前絕大多數(shù)VR設(shè)備都是頭戴式，捕捉用戶頭部的運動也可以方便地讓用戶直接操作眼前看到的虛擬世界。三維空間的右手笛卡爾坐標如下圖所示，pitch是圍繞X軸旋轉(zhuǎn)，yaw是圍繞Y軸旋轉(zhuǎn)，roll是圍繞Z軸旋轉(zhuǎn)。在VR頭盔中，歪頭就是roll，搖頭是yaw，點頭是pitch。
依賴重力感應和陀螺儀傳感器，我們可以捕捉到用戶頭部的運動中心點，并映射到虛擬空間中的坐標上，如下圖中綠點所示，從而實現(xiàn)某些用戶交互，如判斷是否激活當前空間內(nèi)紅框區(qū)域所代表的興趣點。
2人物捕捉（ ）
人物捕捉，包括感知、編碼、重現(xiàn)使用者的外觀、行為、情緒、非語言暗示等目前應用程序需要的信號。可以想象，未來商務人士不需要做空中飛人，就可以借助VR開啟各種虛擬會議，你可以觀察到與會者的一舉一動，甚至表情和情緒。但目前，這是技術(shù)領(lǐng)域最不成熟的一塊，尤其缺乏消費級的解決方案。
目前的方案大都需要借助一些輔助設(shè)備的幫忙，而捕捉到的人物精細度已經(jīng)越來越高，可以應用在影視創(chuàng)作和游戲開發(fā)中了。下圖是利用實時捕捉臉部運動的例子。
不只是面部表情，全身動作也可以借助光學設(shè)備捕捉到。原理是多臺相機從不同角度拍攝的圖像被采集到計算機之后，通過視覺算法過濾無用的信息，再計算出每個標記點的空間位置，進而根據(jù)已知的骨骼信息得到關(guān)節(jié)的旋轉(zhuǎn)角度。如下圖就是通過同一個標記點在兩臺相機畫面中的位置，解算出它的空間位置的簡單數(shù)學表達，以及捕捉到的動作實例。
3環(huán)境捕捉環(huán)境捕捉（ ），指的是感知、編碼、重現(xiàn)真實世界的環(huán)境。環(huán)境捕捉可以分為相對簡單的 360°全景視頻和全景幾何捕捉——后者需要應用更加復雜的計算機視角技術(shù)。這些技術(shù)在飛快的向成熟發(fā)展，Jaunt VR、、GoPro、 這些公司都在進行緊鑼密鼓的研發(fā)，很快就會出現(xiàn)完整的商品。
通過全景攝像設(shè)備捕捉到的影像或幾何信息，經(jīng)過攝像機標定、傳感器圖像畸變校正、圖像投影變換、匹配點選取、全景圖像拼接和融合，以及亮度與顏色的均衡處理等，就可以得到VR頭盔中看到的360度視頻影像了。
VR頭盔的兩個鏡片可以看成兩個完全相同的放大鏡，如下圖光路剖面圖所示，人眼處于左側(cè)實線與光軸的焦點處，中間的為雙凸鏡片，右側(cè)為屏幕，由于鏡片有彎折光線的作用，人眼看到屏幕最上方x位置，而給人的感覺是沿著虛線從更高的位置進入人眼的，仿佛把屏幕放大到了x’的那么大。
VR頭盔鏡片呈現(xiàn)出更大視野的同時，也帶來了畸變。畸變用通俗的話來說就是圖像扭曲變形，給人以中間凸出（桶形畸變）或是凹陷（負畸變），這也屬于像差的一種，是由于人眼處于光學系統(tǒng)中的前后位置不同造成的。因此，在圖像呈現(xiàn)在使用者之前，先做一次桶形畸變，如下圖所示，用以抵消鏡片帶來的枕形畸變，從而使使用者感受不到由于鏡片畸變造成的不真實感。
不同VR頭盔的鏡片有不同的畸變系數(shù)，組成一個畸變補償方程，來適配不同畸變程度的鏡片，從而達到能夠通用不同鏡片的目的。
4環(huán)境渲染
環(huán)境渲染（ ）是很多人想起 VR 時想到的：以高質(zhì)量渲染虛擬的世界，其中包括了所有相關(guān)的感知方式。 的演示表現(xiàn)了消費級產(chǎn)品的出色渲染能力，給用戶帶來身臨其境的沉浸感，這也標志的現(xiàn)代 VR 的來臨。
VR頭盔強調(diào)的沉浸感，一方面取決于屏幕的大小，另一方面取決于鏡片彎折光線的能力，也就是可視角（FOV）的概念，這也是廣大VR廠商經(jīng)常宣傳的一個參數(shù)。下圖是我們渲染的一個影院三維模型，以及在移動設(shè)備上呈現(xiàn)出的虛擬影廳效果。
當然，所有這些領(lǐng)域都包含了很多獨立的技術(shù)，任何對于一個 VR 應用近期潛力的真實評估都需要比這里列出的更加詳細的細節(jié)。
設(shè)計元素再好的技術(shù)全景視頻圖像 拼接 控制器，都需要友好的呈現(xiàn)給使用者。我們把這部分要講述的內(nèi)容廣義的稱之為“設(shè)計元素”。它包括了以下三個方面。1可用性（）包括了 UI/UX 的所有方面。用戶界面和用戶體驗，是消費級產(chǎn)品最重要的部分。如何才能簡單高效的將技術(shù)能力傳達給用戶，同時又能準確的捕捉用戶意圖，相信隨著意圖捕捉的技術(shù)能力越來越成熟，這部分會有更好的解決。2敘述（）指的是我們講述故事、小說或其他什么東西的能力。這些都充滿了信息，引人入勝，并且能引起人的共鳴。在我看來，未來的VR電影，觀影者不僅能感到身臨其境，還能獲得更有很強的參與感：觀影者可以隨時望向任何角度，從而獲得無數(shù)個可能的視角。從某種程度上來說，這種VR電影體驗更像是為觀影者提供一些素材，而觀影者根據(jù)自身的關(guān)注點來“剪輯”影片，通過不同的角度來自我理解和詮釋影片。
3信息呈現(xiàn)信息呈現(xiàn)（ ）
指的是我們在描繪想法、數(shù)據(jù)、圖表和其他抽象概念需要的專業(yè)知識，思維導圖，信息圖表，技術(shù)圖紙等等。
毫無疑問的是，所有的設(shè)計領(lǐng)域——可用性、敘述、信息呈現(xiàn)——在 VR 中都還處于起步階段。應用程序
既然我們已經(jīng)知道了技術(shù)和設(shè)計的必要元素，那么再來看看應用程序吧。在圖表中用線的粗細表示了應用對于這些領(lǐng)域依賴的強弱。
有些應用擁有很高的技術(shù)門檻，如果這些技術(shù)基礎(chǔ)沒有改進，這些應用就無法真正進入市場。在這些領(lǐng)域，新企業(yè)如果想要起步，就需要進行這些基礎(chǔ)的研發(fā)。個人通信就是一個很好的例子：我們還沒有消費級的解決方案能夠處理實時人物捕捉問題。一旦這些技術(shù)被開發(fā)出來，這塊空間就將向大家敞開。
其他領(lǐng)域則更多的受限于我們的設(shè)計知識——我們不知道什么樣的體驗才是最好的。生產(chǎn)力工具就是最好的例子，很快 和 Vive 都將把優(yōu)秀的手勢識別輸入控制器推向市場，而剩下的主要技術(shù)障礙——意圖識別——也將不復存在。但是 VR 中的 Word、Excel、 和 將是什么樣的？它們?nèi)绾喂ぷ鳎课艺J為我們對于可用性和界面設(shè)計的不了解才是我們面臨的主要障礙。
那么什么樣的應用可以投向市場，或者可以很快的投向市場，什么樣的還需要等待時機？1短期（9-18 個月）
>>游戲：當然最強的依賴就是渲染了，這一塊已經(jīng)相當成熟。對于其他技術(shù)的依賴較弱，并且使用一些早期的技術(shù)就可以工作。敘述手段在短期內(nèi)可能會有一些問題，因為人們需要去學會怎樣建立和展開故事線。
>>直播：除了渲染，主要的依賴就是環(huán)境捕捉了——但是這一塊發(fā)展真的很快！直播依賴的其他部分內(nèi)容不在本文討論的范疇內(nèi)，例如內(nèi)容運營，云計算技術(shù)等等。
>>不動產(chǎn)：這類應用的門檻在于快速廉價準確的捕捉室內(nèi)環(huán)境。（室內(nèi)環(huán)境建模軟件）這類的軟件就是這樣。
>>新聞：高效的 VR 新聞需要將敘述技術(shù)和環(huán)境捕捉相結(jié)合——這兩個領(lǐng)域都需要更多的發(fā)展提高。不過使用現(xiàn)有的技術(shù)進行早期的嘗試也能夠成功，然后再慢慢的結(jié)合最新的技術(shù)成果。今年11月6日，《紐約時報》正式上架虛擬現(xiàn)實新聞客戶端“NYT VR”，為讀者提供“浸入式”視頻，號稱“看新聞視頻比3D/IMAX還帶感”。
2中期（1.5-3年）
>>生產(chǎn)力工具：這類 APP 的存亡取決于它們激發(fā)、捕捉和響應我們的意圖的能力。精準高效的輸入解決方案即將投入使用，不過設(shè)計和開發(fā)人員還需要花一些時間才能弄清如何更好的利用這些輸入設(shè)備。雖然這類應用被列入中期，但是很多重要的作品都需要數(shù)年的時間才能完善并面世。
>>社區(qū)：和其他人交流感興趣的話題——這也是互聯(lián)網(wǎng)最初和最持久的應用。在 VR 中實現(xiàn)它需要很好的人物捕捉（主要障礙）以及出色的產(chǎn)品設(shè)計，不過這類應用在相對較短的時間內(nèi)就可以使用了。
>>電影：故事敘述不受主要的技術(shù)壁障現(xiàn)實，并且全景相機正在迅速的發(fā)展。現(xiàn)階段最主要的難點就是創(chuàng)意——如何在這個媒介中講故事。 、 以及許多傳統(tǒng)工作室和制作公司已經(jīng)在努力的探索這一領(lǐng)域了。
>>教育：這有點難分析，因為不同學科的需求不同。歷史和文學與影院和旅行有很多相似之處，而細胞生物學和技能訓練則更像游戲。
>>旅行：這幾乎全靠環(huán)境捕捉——讓我們感覺我們真的在哪里，這需要盡可能高的保真度和盡可能多的感官渠道。3更遠一些 (3-5年)
>>商務會談：需求很復雜，從高還原的人際關(guān)系，信息和思想的呈現(xiàn)，到可靠的產(chǎn)品設(shè)計。目前的會議解決方案例如 體驗非常糟糕，在個人和公司轉(zhuǎn)而使用這類技術(shù)前還有很多需要改進的地方。
>>個人通信：這類應用還很遙遠全景視頻圖像 拼接 控制器，它需要能捕捉細微動作的人物捕捉技術(shù)，包括所有人類使用的非語言交流方式。除非有重大的技術(shù)突破，否則不會出現(xiàn)令人滿意的解決方案來取代現(xiàn)有的通信方式。
>>擴展知覺：另一種很難分析的應用——通過數(shù)據(jù)展示以及感官輸入這樣全新的視角向我們展示現(xiàn)實和虛擬的世界。這需要等待設(shè)計準則的成熟以及最合適的數(shù)據(jù)流才能變得實用。我們還缺少些什么？
在這篇分析里，主要講解了不同 VR 應用的技術(shù)和設(shè)計需求——這也是決定能否做出有競爭力的產(chǎn)品的主要因素。但是在 VR 成為一個新的計算平臺的過程中還有很多其他問題需要解決。其中一部分如下：
>>中間件，引擎，分布式平臺，授權(quán)工具。這些都是一些幕后的模塊，它們對于將應用推向市場很重要。當然，它們中的很多都在短期內(nèi)會產(chǎn)生機會。
>>市場規(guī)模，貨幣化，商業(yè)模型。所有這些應用都擁有廣闊的市場，有一些的市場特別大，而有一些則有明確的貨幣化的道路。基于不動產(chǎn)的商業(yè)和基于體育在線直播的商業(yè)是完全不同的。
>>消費者的廣泛接受以及頭戴設(shè)備的滲透。有一些應用需要廣大的消費者作為基礎(chǔ)。而有一些則只需要早期的用戶就可以啟動。
核心觀點引自國外作者Beau
樂視VR∣與您一起成就VR夢想