虛擬現(xiàn)實(VR)在經(jīng)歷了幾十年的發(fā)展和技術(shù)儲備后,近幾年呈現(xiàn)出井噴式增長,美國高盛公司2016年初預(yù)測,虛擬現(xiàn)實和增強現(xiàn)實將繼個人電腦和智能手機之后,成為下一代的大型計算平臺,其產(chǎn)生的新的市場規(guī)模在未來十年內(nèi)將有望達到800億美元。在VR的競技場里,諸如Facebook、Microsoft、 Google等高科技巨頭紛紛加入角斗,更有數(shù)量眾多的初創(chuàng)公司推動VR技術(shù)的飛速發(fā)展。由于技術(shù)的發(fā)展和資本的注入,一個新的虛擬現(xiàn)實產(chǎn)業(yè)生態(tài)正在形成,市場的期望為虛擬現(xiàn)實相關(guān)的各個行業(yè)提供了廣闊的發(fā)展機遇,也對虛擬現(xiàn)實技術(shù)的突破提出了巨大的挑戰(zhàn)。
虛擬現(xiàn)實的目標是通過計算機、電子、通信等技術(shù)的結(jié)合,創(chuàng)造出人眼無法分辨的虛擬場景,使人們能夠產(chǎn)生身臨其境的切身體驗,猶如沉浸在這種虛擬的環(huán)境一般。為了使虛擬現(xiàn)實內(nèi)容更舒適而且真實地被人眼所接受,虛擬現(xiàn)實設(shè)備必須產(chǎn)生符合人眼在自然狀態(tài)下觀察物質(zhì)世界習慣的場景,然而,現(xiàn)有的VR技術(shù)并不能完全滿足這樣的需求,由此帶來的沉浸感不足、交互感低和健康等問題造成VR體驗還遠遠低于人們的預(yù)期。近年來,計算成像領(lǐng)域的光場技術(shù)憑借其能夠捕獲完整高維度光場信息的能力,為突破虛擬現(xiàn)實中的技術(shù)瓶頸提供了絕佳的解決方案,從而能使人眼真正獲得“眼見為實”的沉浸式體驗。
人眼無法分辨的虛擬與現(xiàn)實
人的眼睛是獲取外界信息最主要的渠道,經(jīng)過長時間的生理進化和日常訓練,人眼形成了感知外部世界的一種本能,其中很重要的一點就是感知深度信息,這包括雙目視差、運動視差、單目遮擋和聚散度等幾種方式。在佩戴頭盔的情況下,人眼實際是聚焦在頭盔的屏幕上,而虛擬現(xiàn)實則試圖“欺騙”人眼和大腦,仿佛雙眼是聚焦在不同的距離。當顯示的內(nèi)容稍有差錯或延遲,人眼就會敏感地察覺到,并造成相應(yīng)的神經(jīng)系紊亂,引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。
實際上,當人在自然狀態(tài)下觀察目標時,眼睛是在不斷變焦的,并且能夠通過前庭視反射消除畫面切換時的抖動和模糊。這是因為在人眼的周圍有無數(shù)的光線,眼睛通過不斷地改變焦距,采集來自不同方向和位置的光線,聚焦在不同的平面。加上頭部的運動,人可以在很大的范圍內(nèi)不斷地聚焦在所關(guān)心的物體上。也就是說,人需要時刻感知到周圍來自不同位置和方向的光線,這就是光場。因此,虛擬現(xiàn)實要呈現(xiàn)人眼無法分辨的虛擬內(nèi)容,就必須要借助光場技術(shù)來記錄外部世界的完整信息,并將這些信息無損失地復(fù)現(xiàn)出來,才能使人眼獲得在自然狀態(tài)下觀看的真實感覺。
傳統(tǒng)的虛擬現(xiàn)實之所以不能完全符合人眼的觀察習慣,就是因為其缺乏完整的光場信息。例如,人工合成的360°全景圖片或視頻,并不是真正的虛擬現(xiàn)實,因為這些圖片或視頻缺乏立體視覺效果。但是,即便采用了立體相機拍攝了三維空間信息,獲得了雙目立體視差,也并不是真正意義上的虛擬現(xiàn)實,因為這樣的系統(tǒng)仍然缺乏運動視差,不能形成走入走出的沉浸感,只適合觀看。再進一步,完美的沉浸感還需要加入聚焦信息,即人眼對焦在不同深度時,雙眼的聚散程度不同,對焦所在的平面是清晰的,而其他平面則應(yīng)該是模糊的。傳統(tǒng)的VR系統(tǒng)完全沒有提供對焦信息,整個畫面都是清晰的,這就造成了人們長時間佩戴頭盔后產(chǎn)生的各種視覺上的不適癥狀。真實世界的光場是四維數(shù)據(jù),只有完全記錄光場信息,并且不失真地重現(xiàn)出光場,虛擬現(xiàn)實所需要的沉浸感和走入走出效果才能淋漓盡致地表現(xiàn)出來。
光場的記錄和復(fù)現(xiàn)
對于VR應(yīng)用,光場是解決浸入感瓶頸難題的有效方法,其中的關(guān)鍵技術(shù)包括光場的記錄和復(fù)現(xiàn)。光場信息包括二維的空間信息和二維的方向信息,目前主要有兩種方式采集光場:相機陣列和微透鏡陣列。麻省理工學院和斯坦福大學先后采用多相機陣列的方式搭建了光場采集系統(tǒng),從每個相機拍攝到的圖片進行重構(gòu),計算出四維光場。斯坦福大學的Ren Ng則采用把微透鏡陣列置于探測器附近的方式,設(shè)計出單鏡頭的光場相機,通過重構(gòu)算法得到完整光場。光場相機能夠?qū)崿F(xiàn)先拍照后對焦的功能,初創(chuàng)公司Lytro先后發(fā)布了兩款基于此原理的光場相機,另外德國的Raytrix公司也有類似的產(chǎn)品問世。對于VR應(yīng)用,Lytro也采用光場技術(shù),準備發(fā)布一款名為Immerge的光場虛擬現(xiàn)實攝像設(shè)備,能夠拍攝360度的全景光場信息。不管采用相機陣列還是光場相機,一旦四維的光場信息能夠完整記錄,就可以在后端的顯示設(shè)備中進行光場復(fù)現(xiàn)。
光場的復(fù)現(xiàn)包括渲染和顯示兩個技術(shù)環(huán)節(jié)。由于光場包含了重要的方向信息,在任意指定的對焦平面和視角方向,通過簡單的積分方法就可以渲染出所需要的場景。然而,光場數(shù)據(jù)具有很高的維度,記錄到的光場往往因為采樣不足造成混迭現(xiàn)象,在渲染的圖像上出現(xiàn)“鬼像”。光場渲染中的“鬼像”問題可以通過輔助幾何信息進行校正,只需要簡單的幾何信息,就可以大幅降低重對焦后的圖像中的混迭現(xiàn)象。而這些輔助的幾何信息直接可以通過光場相機進行深度估算得到,即通過綜合利用重對焦、焦掃描和遮擋檢測等技術(shù),得到很好的深度圖。最終,渲染的光場圖像可以通過頭盔顯示器顯示給人眼觀看。由于顯示在頭盔屏幕的是渲染的光場圖像,人眼便可以自然地觀看VR內(nèi)容,而不會產(chǎn)生傳統(tǒng)VR設(shè)備帶來的不適感。另外,光場顯示設(shè)備將是光場VR研發(fā)和應(yīng)用中的關(guān)鍵技術(shù),Magic Leap公司所用到的顯示設(shè)備就是基于光場的原理。近年來,用于近眼顯示的光場頭盔在學術(shù)界和產(chǎn)業(yè)界引起了極大興趣,這種光場顯示設(shè)備采用兩層LCD液晶顯示屏,將光場分解為兩幅圖像,通過光線調(diào)制就可以給人眼重現(xiàn)整個光場,人眼就可以自由地進行重對焦或者改變視角。這種能夠重現(xiàn)完整光場的光場顯示技術(shù)將是光場VR未來發(fā)展的熱點方向。
光場VR內(nèi)容制作的挑戰(zhàn)
目前國內(nèi)外光場VR技術(shù)研究仍處于起步階段,美國的斯坦福大學在光場成像和光場顯示方面具有深入研究,初創(chuàng)公司Lytro正在研發(fā)影視級的光場視頻拍攝系統(tǒng)Immerge,NextVR將光場技術(shù)應(yīng)用到全景3D體育賽事直播中。國內(nèi)上??萍即髮W等高校已經(jīng)開展了光場VR方面的研究,相關(guān)產(chǎn)品方面,目前僅有疊境數(shù)字(PlexVR)利用光場技術(shù)進行光場VR的內(nèi)容制作,包括環(huán)視相機陣列光場采集、線陣光場成像、全景3D成像等,已有產(chǎn)品應(yīng)用到博物館展品的虛擬現(xiàn)實演示、房地產(chǎn)業(yè)的虛擬樣板間參觀、中共一大會址的3D建模和光場重建等。
目前,VR硬件設(shè)備和平臺在高科技巨頭的紛紛參與下,已經(jīng)日漸成型并有高品質(zhì)的硬件產(chǎn)品可用,而VR內(nèi)容的開發(fā)則嚴重缺乏,尤其是光場VR內(nèi)容的制作更是處于起步階段。在虛擬現(xiàn)實的產(chǎn)業(yè)鏈生態(tài)系統(tǒng)中,內(nèi)容的制作必然占據(jù)整個行業(yè)拼圖中的很大份額,VR內(nèi)容制作中涉及的拍攝硬件研制、軟件開發(fā)和內(nèi)容顯示等都是關(guān)鍵的核心環(huán)節(jié),是一個軟硬件充分結(jié)合的產(chǎn)物,因此存在巨大的挑戰(zhàn)。在產(chǎn)業(yè)形成的初期,我國與世界領(lǐng)先的VR技術(shù)差距還不明顯,因而具有很大的發(fā)展空間和潛力,應(yīng)盡快提高VR內(nèi)容制作方向的競爭力,占據(jù)全球行業(yè)發(fā)展有利地位。
光場VR是世界上最新的虛擬現(xiàn)實制作概念和技術(shù),對提高VR沉浸感體驗具有極大的作用,也是能夠改變整個虛擬現(xiàn)實領(lǐng)域的顛覆性技術(shù),我國極有可能搶占光場VR技術(shù)研究和應(yīng)用的領(lǐng)先地位。不論是光場VR的基礎(chǔ)理論研究,還是應(yīng)用開發(fā),我國應(yīng)加快相關(guān)的人才培養(yǎng)、應(yīng)用普及和政策扶持,為已經(jīng)來臨的VR產(chǎn)業(yè)大發(fā)展做好充足的準備工作。
(審核編輯: 滄海一土)
分享