交互式觀賽，為觀眾帶來沉浸式新體驗

伴隨5G時代來臨、以及三維視覺與顯示技術的進步，視頻技術從“看得清”進入“看得真”的超高清和沉浸式虛擬現(xiàn)實時代。而作為全球冰雪運動盛會——北京冬奧，如何依靠5G技術為觀眾打造一種全方位、多角度、深層次的觀賽體驗成為一大難題。幸運地是，一系列中國自主研發(fā)的高新技術成果助力冬奧使觀眾交互式觀賽成為可能。那么交互式觀賽有什么魅力呢？其中又蘊含了哪些黑科技呢？

交互式觀賽的魅力

我們以前觀看各類體育賽事如NBA、世界杯、世乒賽等都是一種被動式的觀賽，我們看到的視頻畫面都是由導播人員在轉(zhuǎn)播車上對多路攝像機拍攝的畫面合成的一路信號，導播切成什么，我們就只能看什么，這種方式會極大降低觀眾的觀賽體驗。有很多人都會有這種感覺，在某場比賽中想多關注某個選手，唯一能做的就是祈禱導播不要切換視角，極度不自由。而交互式觀賽的魅力就在于用戶可以通過手機、VR頭盔和電視大屏等實現(xiàn)自由視角和VR直播觀看，突破傳統(tǒng)固定視角和被動式觀賽，實現(xiàn)用戶自主自由觀賽體驗，每一路信號在手機端都可以觀看，觀眾可以選擇導播導切的這一路信號，也可以選擇近景視角、遠景視角，也可以進行人物跟蹤，用戶想看哪個運動員就可以一直觀看這個運動員。真正實現(xiàn)“〖360〗^°”無死角呈現(xiàn)比賽現(xiàn)場的精彩畫面。同時，相關負責團隊還通過三維重建和渲染技術實現(xiàn)了連續(xù)自由視點視頻生成與傳輸，讓觀眾不僅看得清晰，更能看得真實，“身臨其境”地感受比賽的刺激。而交互式觀賽的實現(xiàn)離不開幾大關鍵技術的支持。

通過VR頭盔體驗單視點“〖360〗^°”觀賽

交互式觀賽的關鍵技術

一、“自由視角”視頻技術。自由視角是指以被拍攝物體或場景為中心，讓用戶能夠通過操控界面，從多角度自由旋轉(zhuǎn)觀看被拍攝物體或場景的業(yè)務形態(tài)。自由視角在節(jié)目制作時，以多軌廣播級4K影像同步采集編碼和畫面合成為核心，采用云端渲染及內(nèi)容推送為手段，直播方利用多機位或環(huán)繞機位，向用戶提供環(huán)繞整個場地的多角度視頻信息，用戶能以旋轉(zhuǎn)切換的方式自由觀看角度。用戶端可隨時隨地實現(xiàn)多視角切換、自由縮放、隨時暫停、定格旋轉(zhuǎn)、慢動作環(huán)繞等功能，在不同終端(手機、平板及電視等)真正實現(xiàn)直播畫面的“千人千面”互動體驗。該技術與傳統(tǒng)的VR技術相近，主要區(qū)別在于拍攝方式，自由視角是360度往里拍的環(huán)物模式而VR是360度往外看的環(huán)景模式，因此，自由視角技術拍攝的畫面人物立體感更強，其應用場景也更加廣泛。整個自由視角系統(tǒng)的技術架構主要包括畫面采集、信號傳輸、“時空凝結”特效生成、云端內(nèi)容發(fā)布、5G客戶端接收等模塊。

自由視角技術架構

二、“子彈時間”技術。該技術是由數(shù)十臺相機組成一個圓，對拍攝主體進行180度全景拍攝，然后利用5G高速率低延時的特點將拍攝內(nèi)容上傳到云端進行圖像處理，處理完畢后再將視頻回傳至拍攝地從而體現(xiàn)5G低延時大連接的特點。這一高科技的實現(xiàn)，讓“時空凝固”成為可能。這就是電影或電腦游戲中的攝影技術模擬變速的特效，把運動員精彩動作、華麗進球、炫酷特技等精彩片段瞬間定格，呈現(xiàn)出讓這些精彩動作“再飛一會兒”的視覺效果。就像電影《黑客帝國》里面，主人公在精彩的特效下做出來的那種閃躲子彈的狀態(tài)，在現(xiàn)場是可以親身去感受的。同時，“子彈時間”技術不僅能夠滿足觀賽需求，還可被運動員和教練員用于多角度直觀回顧訓練細節(jié)，科學提高運動員成績。

三、VR孿生推演系統(tǒng)。VR孿生推演可以理解為數(shù)字模擬，即通過數(shù)據(jù)手段模擬特定范圍內(nèi)的物理世界中的物體。而這樣的模擬通過VR可以讓被模擬的物體在觀察者的眼中變得更加真實。因此，設計師可以在虛擬的數(shù)字環(huán)境中模擬使用產(chǎn)品或運行系統(tǒng)從而在更廣的視角內(nèi)了解產(chǎn)品在真實環(huán)境中的缺陷以及能夠改善的方向。該目標只能通過VR軟件來實現(xiàn)，在使用階段可視化產(chǎn)品，并用仿真數(shù)據(jù)補充3D模型?；诙瑠W場館的數(shù)字孿生實現(xiàn)賽場環(huán)境的真實渲染、多相機高真實感模擬、多相機快速拼接等功能，完成鏡頭軌跡規(guī)劃創(chuàng)意設計的修正反饋和逼真推演。通過對多角度、高清VR全景賽事視頻的采集與分析進行視聽語言研究，創(chuàng)造出令觀眾過目不忘的視聽效果。

數(shù)字孿生系統(tǒng)

四、8K實時編碼器。8K實時編碼器是在我國自主超高清視頻編碼國家標準AVS3的基礎上研發(fā)的。自2002年至今，我國已經(jīng)制定三代AVS（數(shù)字音視頻編解碼技術）標準。AVS1標準實現(xiàn)了全國地面數(shù)字電視覆蓋，使我國數(shù)字音視頻產(chǎn)業(yè)實現(xiàn)了“中國制造”到“中國創(chuàng)造”的規(guī)?；瘧?zhàn)略轉(zhuǎn)型。AVS2標準能夠從技術源頭上支撐我國視頻產(chǎn)業(yè)的健康發(fā)展，使我國音視頻技術和產(chǎn)業(yè)正式進入“超高清”和“超高效”的“雙超時代”。AVS3 標準則是8K 超高清視頻編碼標準，為新興的 5G 技術、虛擬現(xiàn)實和智能安防等應用提供技術規(guī)范，引領未來8K 超高清和虛擬現(xiàn)實（VR）視頻產(chǎn)業(yè)的發(fā)展。技術人員基于一系列快速編碼模式?jīng)Q策技術和并行編碼技術成功研發(fā)8K實時編碼器，將其與自適應傳輸技術相結合能夠大幅度提升VR 和“自由視角”視頻的分辨率和清晰度，最大限度地革新觀眾的視覺體驗與感受。

面向5G網(wǎng)的AVS3 8K編解碼器與端到端系統(tǒng)

五、超短焦VR眼鏡。在設計超短焦VR眼鏡時，為了減輕VR眼鏡的重量，設計人員在眼鏡內(nèi)部加入了一種多光學功能件來對光路進行多次折疊，不僅不會影響VR眼鏡的功能，還能極大縮短光學系統(tǒng)的厚度從而達到降低眼鏡重量的目的。相比于市場上VR一體機400~700g的重量，設計團隊研發(fā)的130g左右重量的超短焦VR眼鏡更加符合人機工程學，觀眾可以長時間佩戴而不會覺得累，更加不會錯過冬奧賽場上的任一精彩環(huán)節(jié)。

北京冬奧不僅是一場冰雪運動的盛會，也是一個展示國家創(chuàng)新技術成果和創(chuàng)新實力的窗口。交互式觀賽相關技術會在北京冬奧相關賽事中進行示范應用，為觀眾帶來一場場“身臨其境”似的視覺盛宴。同時，其產(chǎn)出的一系列成果在未來助力5G技術的應用推廣、促進我國自主超高清和虛擬現(xiàn)實技術與產(chǎn)業(yè)發(fā)展等方面具有重要的意義。