前言

　　國內(nèi)的廠商對于VR頭顯的延遲總是顯得不屑一顧，每次發(fā)布會上，都聲稱產(chǎn)品的延遲控制在18ms、17ms、16ms，仿佛拳打oculus、腳踢VIVE。中國的廠家真的這么厲害?到底VR頭顯的延遲以及造成暈眩是什么樣的原因?

　　延遲是什么

　　VR“延遲”(delay)是指從人的頭部移動開始一直到頭顯設(shè)備(HMD)的光學(xué)信號映射到人眼上面全部的等待時間(latency time)。其中需要經(jīng)過的全步驟如下圖所示。

　　延遲會影響玩家的注意力，延遲較大的時候會產(chǎn)生暈動癥(motion sickness)，也就是俗稱的暈車暈船。其原理是視覺接受的自身的身體狀態(tài)，與負(fù)責(zé)感知身體狀態(tài)的中耳前庭器官不一致，中樞神經(jīng)對這一狀態(tài)的反饋就是惡心，來提醒身體狀態(tài)的異常。簡單來說，戴上VR頭顯移動頭部的時候，由于延遲，視覺觀察到的變化比身體感覺到的慢慢，產(chǎn)生沖突繼而造成暈眩。

　　根據(jù)研究，這個延遲只有控制在20ms以內(nèi)，人體才不會有排斥反應(yīng)。同時超過20ms也不一定就會造成暈眩惡心，就像有些人暈車有的人不暈，每個人的體質(zhì)對延遲的敏感度和排斥反應(yīng)的大小不同。對于筆者來說，本身就容易暈車暈船，所以使用VR設(shè)備的時候延遲稍高就很快會暈;而一些人即使使用延遲比較高的設(shè)備，也不會立馬就暈。

　　所以一些廠商宣稱的所謂暈眩只是個別情況，產(chǎn)品設(shè)備本身完全沒問題是不正確的。他們的產(chǎn)品并不是滿足了20ms延遲的要求，從而讓佩戴者不會產(chǎn)生暈眩。只是許多佩戴者的抗暈動癥能力比較強(qiáng)，才沒有產(chǎn)生暈眩。

　　美國傳奇程序師，F(xiàn)PS和3D之父約翰·卡馬克曾在2014年寫過一篇文章介紹VR頭顯的延遲問題，在這篇文章的基礎(chǔ)上，結(jié)合這兩年VR行業(yè)相關(guān)技術(shù)的發(fā)展，來談?wù)刅R延遲的問題。

　　傳感器以及信號傳輸造成延遲

　　從頭部移動開始，VR頭顯內(nèi)置陀螺儀或者空間定位儀器就會捕捉人體的移動，接受信號傳輸?shù)诫娔X處理器中處理。

　　對于傳感器本身而言，比較好的傳感器幀率基本都在1000hz左右，所以傳感器接收人體移動信號造成的延遲在1ms左右，再加上單片機(jī)處理信號和傳輸?shù)诫娔X的工作，這一過程大概在3ms。

　　這一過程中，數(shù)據(jù)傳輸和濾波造成的延遲基本是固定的。但是由于傳感器的幀率(比較好的傳感器可以達(dá)到1000HZ)和渲染的幀率不一致，所以會帶來一個可變的延遲。 在傳感器方面，對頭部活動的預(yù)測有可能降低一定的延遲。但是即使有一個很復(fù)雜的人類頭部模型，這也只能處理頭部以一個比較均勻的速度移動的情況，對于頭部開始運動和運動狀況劇變的情況很難處理。

　　合理安排傳感器進(jìn)行數(shù)據(jù)采樣，一定程度上可以降低延遲。大多數(shù)模擬輸入的任務(wù)不直接依賴于用戶的輸入數(shù)據(jù)，即是說這一數(shù)據(jù)的輸入對一幀的延遲影響不大。如果在需要用戶輸入的數(shù)據(jù)時采樣，而不是在一開始就離線緩存輸入數(shù)據(jù)，則能減少總體的延遲。這種方法被稱之為延遲幀調(diào)度( late frame scheduling)，其缺點在于需要大量的調(diào)度，提高了整體的功耗。

　　顯示帶來的延遲

　　然后就是圖像顯示造成的延遲?，F(xiàn)在的頭顯屏幕主要分為LCD屏和OLED屏幕，現(xiàn)代技術(shù)下，一個優(yōu)秀的LDC屏幕上面一個像素從一個值轉(zhuǎn)變成另一個值需要大約10ms，經(jīng)過優(yōu)化這個數(shù)值可以降低一半。相比之下，OLED的像素轉(zhuǎn)化所需要的時間更少，一般都在只1ms以內(nèi)。

　　除此之外，有一個問題：傳統(tǒng)顯示器都是逐行顯示圖像的，所以對于一個60HZ的屏幕來說，底部的圖像會比頂部的圖像晚16ms。這在靜止的屏幕里沒有關(guān)系，但是在任何圖像都是實時渲染的HMD里就會產(chǎn)生很大的差別?？雌饋砭秃孟耧@示比較慢的邊緣部分被減掉了，頭部移動的時候畫面也會由于延遲看起來就像是在震動。尤其是對刷新速率較高的使用OLED屏幕的HMD來說，顯得非常明顯。

　　不過隨著屏幕技術(shù)的發(fā)展，現(xiàn)在的AMOLED以及TFTLCD這種有源矩陣屏幕的已經(jīng)很好的解決了屏幕顯示延遲的問題。這些屏幕上每一個像素點都可以控制開關(guān)，屏幕上的圖像可以在同一時間顯示，尤其使用AMOLED屏幕，可以把圖像顯示這一步的延遲控制到數(shù)毫秒之內(nèi)。但是AMOLED屏幕的核心技術(shù)主要掌握在韓國，整體的出貨量也比較低，國內(nèi)很少有VR頭顯設(shè)備使用這種屏幕。

　　圖像處理造成的延遲

　　圖像處理的時間是指從輸入信號以數(shù)字形式存儲進(jìn)內(nèi)存開始，到做成下一個傳輸?shù)狡聊焕锏耐暾膸瑸橹?，需要花費的時間。

　　圖像處理的工序主要分為數(shù)字信號的降噪、場景的渲染以及后續(xù)的反畸變反色散處理。主要有三種方式可以減少花費的時間以及提高最終的畫質(zhì)。

　　第一種是雙GPU立體渲染。由于VR頭顯由兩塊屏幕組成，如果將圖形處理系統(tǒng)分拆成兩個，并分別配備一個 GPU，每個 GPU 只需單獨渲染一塊屏幕的圖像，這樣可以達(dá)到最佳的性能表現(xiàn)和最低的延遲，其代價是要求設(shè)備能夠管理兩個相互獨立的渲染內(nèi)容的緩存。如果設(shè)備無法維持兩個 GPU 的緩存，設(shè)備的數(shù)據(jù)吞吐性能會下降，在緩存過載的情況下，還會導(dǎo)致幀率更嚴(yán)重地下降。

　　第二種降低延遲的方法是允許渲染層基于最新的采樣數(shù)據(jù)修改游戲?qū)觽鬟^來的參數(shù)(VIEW BYPASS)。計算出本次用戶輸入與上次采樣的差值，用于修改游戲?qū)犹峤唤o渲染層的視圖矩陣差值處理，從而減少處理的工作量。

　　第三種是Time Wraping，根據(jù)新輸入的數(shù)據(jù)后期處理渲染過的圖像。繪制出一副高質(zhì)量的圖像之后(使用過 View bypass)，這幅圖像不直接顯示，而是讓開發(fā)者繼續(xù)抓取用戶輸入的最新的數(shù)據(jù)，生成更新的視覺矩陣，然后計算出與輸入數(shù)據(jù)相匹配的已渲染圖像需要變形成什么樣，放置在什么位置。經(jīng)過這一次轉(zhuǎn)換之后，渲染變形后的圖像能與與用戶實際操作后應(yīng)該看到的圖像更相符。

　　后二者的結(jié)合，相當(dāng)于把用戶的操作造成的圖像渲染工作降到最低。而通過連續(xù)的time wraping，圖像渲染花費的延時將被降到最低。而view bypass則保證圖像可以最大程度的避免最終呈像的視差。這種算法的出現(xiàn)，可以縮短圖像渲染所花費的數(shù)十毫秒的延遲。

　　老包子語

　　如果這么來看，降低延遲應(yīng)該是一件非常容易的事情。然而，這中間從傳感器到屏幕到算法的各個工序，只要有一項出差錯，就會提升產(chǎn)品的延遲，最終造成用戶的暈眩。而很多廠商宣稱的延遲，往往是理論計算值或者估計省略從頭部移動到最終顯示中間會耗費的一些工序。希望做VR設(shè)備的國內(nèi)廠商，能夠踏踏實實的從算法開始，一點點的打磨產(chǎn)品，最終真正解決20ms延遲這一VR頭顯的最低門檻