"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

虛擬現實渲染處理對帶寬和時延提出了更高要求。渲染處理是虛擬現實領域的關鍵技術,直接影響內容呈現與用戶體驗效果。 當前移動式虛擬現實終端硬件性能有限,僅能輸出不高於智能手 機圖形處理效果的 3D 模型。為提高虛擬現實終端的圖形處理能 力以及 3D 圖形的顯示效果,可利用5G網絡及雲端渲染優化畫 面質量。雲渲染旨在幫助用戶在中低配頭顯上實現渲染能力更強 的PC級虛擬現實沉浸體驗,降低終端購置成本。對於虛擬現實 這一時延敏感型業務,雲渲染引入的新增時延對於用戶體驗潛在影響較大。此外,3D 應用對於用戶指令的響應高度敏感,如進 行虛擬現實遊戲時,用戶指令須得到及時響應,若稍有時延,容 易引發眩暈感。混合雲渲染旨在解決雲渲染所引入的新增時延以 及編碼壓縮造成的畫質損失,將渲染處理拆分為雲端與本地渲染 協同進行,利用雲端強大的渲染與存儲能力實現靜態畫質與視覺 保真度的提升,同時基於本地渲染滿足時延控制要求。5G 網絡 低時延的特性可有效降低分步渲染產生的新增時延,進一步降低 渲染損失和功耗。由於採用雲端渲染處理、終端交互呈現的技術 架構,雲渲染、混合雲渲染對網絡帶寬、時延、可靠性提出更高 要求,對當前高匯聚、高收斂承載網絡面臨更大挑戰。深度學習 渲染成為人工智能在圖像渲染領域的重要技術創新,可實現圖像 降噪、抗鋸齒以及因注視點渲染帶來的渲染負載減少。深度學習 渲染依賴於雲計算龐大計算能力,在中心雲完成深度學習渲染訓 練,之後將訓練集同步到邊緣雲,並藉助 MEC 降低實時渲染時 延,輸出超高畫質效果。目前,學術界與產業界正在越來越多地 投入深度學習渲染這一新興熱點中。光場渲染是基於圖片集進行 影像渲染,在不需要圖像深度信息或相關性的條件下,通過對相 機採集到的圖像集進行渲染計算。在實時渲染的情況下,光場渲 染比三維模型生成的畫面更加真實。光場渲染須存儲空間中所有 光線的方向和角度,進而渲染出場景中所有表面的反射和陰影, 更大的數據流契合 5G 網絡傳輸特性。

基於 5G 的端雲協同模式觸發虛擬現實感知交互能力躍升。 業界主流移動虛擬現實終端可通過基於傳感融合的 SLAM 技術 實現環境感知、設備定位和地圖三維重構等功能。實時定位技術 日趨成熟,三維重構發展相對緩慢,目前尚難以構建出用於導航、 避障等需求的高精度地圖或用於人機互動的語義地圖,上述場景 有賴於圖像分割、物體識別、高精度表面檢測和三維建模領域的 融合創新。基於 5G 網絡的環境感知可分為初期和成熟兩個階段, 初級階段主要解決現有終端側三維重構的缺失,通過與雲端的低 時延通信實時建立並保存地圖。成熟階段須在雲端建立完整的語 義地圖,各終端能夠實時感知自身定位、獲取地圖信息並完成交 互。具言之,5G 對感知交互能力的提升主要表現在機器視覺、 雲端神經網絡和雲端語義地圖三方面。機器視覺基於深度學習的 語義分割開始在識別重建中頻繁採用,準確獲取圖像中的物體類 屬及對應的邊緣 Mask與 Mesh 信息,成為未來有針對性進行重 建的必要步驟。2019 年 6 月蘋果發佈ARKit3套件,展示了全新 人體遮擋效果,通過基於機器視覺的實時肢體姿態捕捉,將真實 人體、虛擬場景與真實環境相互融合。目前,此類融合基於本地 完成,隨著終端對現實世界理解的不斷深入,需要速度更快、算 力更強的神經網絡進行識別、分割、跟蹤、匹配等複雜任務處理, 基於 5G 的雲端處理方式有助於放大機器視覺對環境感知作用, 以更低時延完成實時空間感知與語義標記。雲端神經網絡可以同 時為多種不同的交互模態提供神經網絡運算,如同時處理語音交 互與手勢交互。由於雲端神經網絡藉助超大型 CPU 與GPU集群 進行運算,可處理更加複雜的業務,如自然語言識別等。5G 網 絡可降低多類自然交互產生的疊加時延,降低運算處理和交互耗 時。同時,基於 5G 雲端架構,經過訓練的神經網絡可以部署到 邊緣雲,在面對異地多人多端實時交互的虛擬現實系統時,以更 低時延處理大量交互反饋信息。此外,雲端神經網絡可以與空間 計算相結合,在 5G網絡下提供更加貼合物理世界的虛擬信息和 渲染效果,並對交互信息進行分析和預判,提升物理世界中虛擬 信息的交互體驗。雲端語義地圖把獲取的點雲特徵與雲端預先準 備好的數據庫進行比對,通過具體的語義特徵對點雲地圖進行標 記,達到輔助理解。5G 網絡為雲端語義地圖提供算力更強的雲 端大型 GPU 集群及高速帶寬網絡,基於 5G 雲端的語義地圖, 能更好的結合神經網絡,構建廣域地圖信息,將物理世界進行數 字重建和標記,同時對 AR 雲的搭建提供了極大的技術支持。

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

虛擬現實渲染處理對帶寬和時延提出了更高要求。渲染處理是虛擬現實領域的關鍵技術,直接影響內容呈現與用戶體驗效果。 當前移動式虛擬現實終端硬件性能有限,僅能輸出不高於智能手 機圖形處理效果的 3D 模型。為提高虛擬現實終端的圖形處理能 力以及 3D 圖形的顯示效果,可利用5G網絡及雲端渲染優化畫 面質量。雲渲染旨在幫助用戶在中低配頭顯上實現渲染能力更強 的PC級虛擬現實沉浸體驗,降低終端購置成本。對於虛擬現實 這一時延敏感型業務,雲渲染引入的新增時延對於用戶體驗潛在影響較大。此外,3D 應用對於用戶指令的響應高度敏感,如進 行虛擬現實遊戲時,用戶指令須得到及時響應,若稍有時延,容 易引發眩暈感。混合雲渲染旨在解決雲渲染所引入的新增時延以 及編碼壓縮造成的畫質損失,將渲染處理拆分為雲端與本地渲染 協同進行,利用雲端強大的渲染與存儲能力實現靜態畫質與視覺 保真度的提升,同時基於本地渲染滿足時延控制要求。5G 網絡 低時延的特性可有效降低分步渲染產生的新增時延,進一步降低 渲染損失和功耗。由於採用雲端渲染處理、終端交互呈現的技術 架構,雲渲染、混合雲渲染對網絡帶寬、時延、可靠性提出更高 要求,對當前高匯聚、高收斂承載網絡面臨更大挑戰。深度學習 渲染成為人工智能在圖像渲染領域的重要技術創新,可實現圖像 降噪、抗鋸齒以及因注視點渲染帶來的渲染負載減少。深度學習 渲染依賴於雲計算龐大計算能力,在中心雲完成深度學習渲染訓 練,之後將訓練集同步到邊緣雲,並藉助 MEC 降低實時渲染時 延,輸出超高畫質效果。目前,學術界與產業界正在越來越多地 投入深度學習渲染這一新興熱點中。光場渲染是基於圖片集進行 影像渲染,在不需要圖像深度信息或相關性的條件下,通過對相 機採集到的圖像集進行渲染計算。在實時渲染的情況下,光場渲 染比三維模型生成的畫面更加真實。光場渲染須存儲空間中所有 光線的方向和角度,進而渲染出場景中所有表面的反射和陰影, 更大的數據流契合 5G 網絡傳輸特性。

基於 5G 的端雲協同模式觸發虛擬現實感知交互能力躍升。 業界主流移動虛擬現實終端可通過基於傳感融合的 SLAM 技術 實現環境感知、設備定位和地圖三維重構等功能。實時定位技術 日趨成熟,三維重構發展相對緩慢,目前尚難以構建出用於導航、 避障等需求的高精度地圖或用於人機互動的語義地圖,上述場景 有賴於圖像分割、物體識別、高精度表面檢測和三維建模領域的 融合創新。基於 5G 網絡的環境感知可分為初期和成熟兩個階段, 初級階段主要解決現有終端側三維重構的缺失,通過與雲端的低 時延通信實時建立並保存地圖。成熟階段須在雲端建立完整的語 義地圖,各終端能夠實時感知自身定位、獲取地圖信息並完成交 互。具言之,5G 對感知交互能力的提升主要表現在機器視覺、 雲端神經網絡和雲端語義地圖三方面。機器視覺基於深度學習的 語義分割開始在識別重建中頻繁採用,準確獲取圖像中的物體類 屬及對應的邊緣 Mask與 Mesh 信息,成為未來有針對性進行重 建的必要步驟。2019 年 6 月蘋果發佈ARKit3套件,展示了全新 人體遮擋效果,通過基於機器視覺的實時肢體姿態捕捉,將真實 人體、虛擬場景與真實環境相互融合。目前,此類融合基於本地 完成,隨著終端對現實世界理解的不斷深入,需要速度更快、算 力更強的神經網絡進行識別、分割、跟蹤、匹配等複雜任務處理, 基於 5G 的雲端處理方式有助於放大機器視覺對環境感知作用, 以更低時延完成實時空間感知與語義標記。雲端神經網絡可以同 時為多種不同的交互模態提供神經網絡運算,如同時處理語音交 互與手勢交互。由於雲端神經網絡藉助超大型 CPU 與GPU集群 進行運算,可處理更加複雜的業務,如自然語言識別等。5G 網 絡可降低多類自然交互產生的疊加時延,降低運算處理和交互耗 時。同時,基於 5G 雲端架構,經過訓練的神經網絡可以部署到 邊緣雲,在面對異地多人多端實時交互的虛擬現實系統時,以更 低時延處理大量交互反饋信息。此外,雲端神經網絡可以與空間 計算相結合,在 5G網絡下提供更加貼合物理世界的虛擬信息和 渲染效果,並對交互信息進行分析和預判,提升物理世界中虛擬 信息的交互體驗。雲端語義地圖把獲取的點雲特徵與雲端預先準 備好的數據庫進行比對,通過具體的語義特徵對點雲地圖進行標 記,達到輔助理解。5G 網絡為雲端語義地圖提供算力更強的雲 端大型 GPU 集群及高速帶寬網絡,基於 5G 雲端的語義地圖, 能更好的結合神經網絡,構建廣域地圖信息,將物理世界進行數 字重建和標記,同時對 AR 雲的搭建提供了極大的技術支持。

5G雲化虛擬現實白皮書

(二) 5G 雲化虛擬現實技術有望在2-5年內逐步成熟

借鑑 Gartner 技術成熟度曲線呈現形式,分析總結如下與 5G 顯著關聯的各類虛擬現實技術產業化進程。5G+虛擬現實的技術 創新大多分佈於穩步爬升光明期、泡沫化低谷期和過高期望峰值 期,預計在兩年內發展成熟的技術以近眼顯示、網絡傳輸領域為 主,佔比約為三分之一。在二至五年內發展至主流階段的技術佔 比接近一半,集中於在雲端進行的面向複雜環境、場景與內容的 渲染計算;有望在5-10年內發展為主流的技術將深入至雲端神 經網絡計算,為場景和應用提供複雜的空間識別算力、高保真渲染效果及虛實融合的交互能力,進而為5G環境下的虛擬現實內容提供更加優質的用戶體驗;面向10年以上成熟的技術目前主 要有光場顯示和混合渲染,在網絡傳輸能力和雲端計算能力發展 到較高程度下,有望為用戶提供完全沉浸體驗。

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

虛擬現實渲染處理對帶寬和時延提出了更高要求。渲染處理是虛擬現實領域的關鍵技術,直接影響內容呈現與用戶體驗效果。 當前移動式虛擬現實終端硬件性能有限,僅能輸出不高於智能手 機圖形處理效果的 3D 模型。為提高虛擬現實終端的圖形處理能 力以及 3D 圖形的顯示效果,可利用5G網絡及雲端渲染優化畫 面質量。雲渲染旨在幫助用戶在中低配頭顯上實現渲染能力更強 的PC級虛擬現實沉浸體驗,降低終端購置成本。對於虛擬現實 這一時延敏感型業務,雲渲染引入的新增時延對於用戶體驗潛在影響較大。此外,3D 應用對於用戶指令的響應高度敏感,如進 行虛擬現實遊戲時,用戶指令須得到及時響應,若稍有時延,容 易引發眩暈感。混合雲渲染旨在解決雲渲染所引入的新增時延以 及編碼壓縮造成的畫質損失,將渲染處理拆分為雲端與本地渲染 協同進行,利用雲端強大的渲染與存儲能力實現靜態畫質與視覺 保真度的提升,同時基於本地渲染滿足時延控制要求。5G 網絡 低時延的特性可有效降低分步渲染產生的新增時延,進一步降低 渲染損失和功耗。由於採用雲端渲染處理、終端交互呈現的技術 架構,雲渲染、混合雲渲染對網絡帶寬、時延、可靠性提出更高 要求,對當前高匯聚、高收斂承載網絡面臨更大挑戰。深度學習 渲染成為人工智能在圖像渲染領域的重要技術創新,可實現圖像 降噪、抗鋸齒以及因注視點渲染帶來的渲染負載減少。深度學習 渲染依賴於雲計算龐大計算能力,在中心雲完成深度學習渲染訓 練,之後將訓練集同步到邊緣雲,並藉助 MEC 降低實時渲染時 延,輸出超高畫質效果。目前,學術界與產業界正在越來越多地 投入深度學習渲染這一新興熱點中。光場渲染是基於圖片集進行 影像渲染,在不需要圖像深度信息或相關性的條件下,通過對相 機採集到的圖像集進行渲染計算。在實時渲染的情況下,光場渲 染比三維模型生成的畫面更加真實。光場渲染須存儲空間中所有 光線的方向和角度,進而渲染出場景中所有表面的反射和陰影, 更大的數據流契合 5G 網絡傳輸特性。

基於 5G 的端雲協同模式觸發虛擬現實感知交互能力躍升。 業界主流移動虛擬現實終端可通過基於傳感融合的 SLAM 技術 實現環境感知、設備定位和地圖三維重構等功能。實時定位技術 日趨成熟,三維重構發展相對緩慢,目前尚難以構建出用於導航、 避障等需求的高精度地圖或用於人機互動的語義地圖,上述場景 有賴於圖像分割、物體識別、高精度表面檢測和三維建模領域的 融合創新。基於 5G 網絡的環境感知可分為初期和成熟兩個階段, 初級階段主要解決現有終端側三維重構的缺失,通過與雲端的低 時延通信實時建立並保存地圖。成熟階段須在雲端建立完整的語 義地圖,各終端能夠實時感知自身定位、獲取地圖信息並完成交 互。具言之,5G 對感知交互能力的提升主要表現在機器視覺、 雲端神經網絡和雲端語義地圖三方面。機器視覺基於深度學習的 語義分割開始在識別重建中頻繁採用,準確獲取圖像中的物體類 屬及對應的邊緣 Mask與 Mesh 信息,成為未來有針對性進行重 建的必要步驟。2019 年 6 月蘋果發佈ARKit3套件,展示了全新 人體遮擋效果,通過基於機器視覺的實時肢體姿態捕捉,將真實 人體、虛擬場景與真實環境相互融合。目前,此類融合基於本地 完成,隨著終端對現實世界理解的不斷深入,需要速度更快、算 力更強的神經網絡進行識別、分割、跟蹤、匹配等複雜任務處理, 基於 5G 的雲端處理方式有助於放大機器視覺對環境感知作用, 以更低時延完成實時空間感知與語義標記。雲端神經網絡可以同 時為多種不同的交互模態提供神經網絡運算,如同時處理語音交 互與手勢交互。由於雲端神經網絡藉助超大型 CPU 與GPU集群 進行運算,可處理更加複雜的業務,如自然語言識別等。5G 網 絡可降低多類自然交互產生的疊加時延,降低運算處理和交互耗 時。同時,基於 5G 雲端架構,經過訓練的神經網絡可以部署到 邊緣雲,在面對異地多人多端實時交互的虛擬現實系統時,以更 低時延處理大量交互反饋信息。此外,雲端神經網絡可以與空間 計算相結合,在 5G網絡下提供更加貼合物理世界的虛擬信息和 渲染效果,並對交互信息進行分析和預判,提升物理世界中虛擬 信息的交互體驗。雲端語義地圖把獲取的點雲特徵與雲端預先準 備好的數據庫進行比對,通過具體的語義特徵對點雲地圖進行標 記,達到輔助理解。5G 網絡為雲端語義地圖提供算力更強的雲 端大型 GPU 集群及高速帶寬網絡,基於 5G 雲端的語義地圖, 能更好的結合神經網絡,構建廣域地圖信息,將物理世界進行數 字重建和標記,同時對 AR 雲的搭建提供了極大的技術支持。

5G雲化虛擬現實白皮書

(二) 5G 雲化虛擬現實技術有望在2-5年內逐步成熟

借鑑 Gartner 技術成熟度曲線呈現形式,分析總結如下與 5G 顯著關聯的各類虛擬現實技術產業化進程。5G+虛擬現實的技術 創新大多分佈於穩步爬升光明期、泡沫化低谷期和過高期望峰值 期,預計在兩年內發展成熟的技術以近眼顯示、網絡傳輸領域為 主,佔比約為三分之一。在二至五年內發展至主流階段的技術佔 比接近一半,集中於在雲端進行的面向複雜環境、場景與內容的 渲染計算;有望在5-10年內發展為主流的技術將深入至雲端神 經網絡計算,為場景和應用提供複雜的空間識別算力、高保真渲染效果及虛實融合的交互能力,進而為5G環境下的虛擬現實內容提供更加優質的用戶體驗;面向10年以上成熟的技術目前主 要有光場顯示和混合渲染,在網絡傳輸能力和雲端計算能力發展 到較高程度下,有望為用戶提供完全沉浸體驗。

5G雲化虛擬現實白皮書

在 5G+虛擬現實融合創新方面,受影視行業及機器視覺技術 的快速發展,實時摳像已日趨成熟,5G 雲化將加快這一技術落地,預估 2 年內發展至成熟階段。高性能拼接縫合是時延、帶寬雙敏感型業務,產業化相對較快,預估在 2 年內發展成熟。雲化三維重建藉助雲計算帶來高精度三維重建效果,降低了終端計算負載,目前尚須跨領域技術整合,預計3-5年發展成熟。基於 5G雲化的虛實場景擬合有望促使融合效果出現質變,預估 2-5 年發展成熟。一體多目式(非光場式)全景拍攝發展較快,在 5G 網絡幫助下設備成本和體積將會向小型輕便發展,發展至成熟預估需要2-3年時間。陣列式(光場式)全景拍攝長期受光學和底層圖像處理能力的限制,在 5G 雲端 GPU 集群的助力下有望出現顯著改觀,預估需2-5年時間發展成熟。WebXR 目前仍處於初級階段,但由於本身基於 Web 技術構建,5G 網絡將加快其迭代和落地,2019 年初 WebXR 剛發佈API 1.0 版草案,發展成熟仍有 5-10 年時間。依據 3GPP 標準制定進度,5G R15 確定了 5G的基本架構,包括新的空口、非獨立(NSA)/獨立(SA)組網網絡架構、雲化核心網、核心網網絡切片等基本技術,實現小區下行峰值速率10Gbps、空口時延 1ms 的目標,該標準自2018年底開始在全球逐步建設,邊緣計算設備也將隨著 5G 網絡的建設開始部署,支持 5G 雲化虛擬現實應用。而 5G R16 所支持的行業應用技術,包括端到端(包含無線網絡)網絡切片、高可靠性等技術,將隨著標準的完成在未來 2-5 年內逐步部署。5G R17於2019年開始確定研究課題,現階段的重點為加入人工智能/機器學習的能力,實現網絡運維的自動化等功能,因此部署的時間還將更晚。預計從 2025 年開始,5G 將進入B5G/6G 時代,開始B5G 和6G的技術研究和部署。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、計算技術、大數據和人工智能技術實現網絡的完全智能和自動化,並實現下行峰值速率大於 100Gbps的目標。6G 的標準化預計要到2028年以後才能形成,正式商用則預計在 2030 年以後。在傳輸預處理方面,目前虛擬現實視頻編碼仍主要使用 HEVC,H.265 已成為主流技術。5G 對視頻編碼技術提出了更高的要求,下一代視頻編碼標準 H.266 在 2018年4月正式開始標準化工作,將於 2020 年發佈標準,預計於 5-10 年可以成為新的主流技術。混合渲染對雲渲染技術有一定依賴性, 屬於在雲渲染基礎上對畫質、時延和功耗的優化,發展至成熟仍 需 2-5 年。深度學習渲染須採集大量圖形渲染數據進行訓練,該 技術在學界和業界仍處於研討期,短期內難以商用落地,預估成 熟期在 5-10年。作為面向未來的渲染技術,光場渲染的處理、 優化、傳輸尚處於基礎技術研發階段,預估成熟期在10年以上。 機器視覺需要依賴神經網絡提供計算與分析,5G 雲化將提供 GPU 和CPU集群,加快訓練速度,預期到達技術成熟需 3 至 5 年時間。雲端神經網絡和雲端語義地圖,將為物理世界的數字化 構建提供更加精確的建圖能力和定位能力,需藉助後 5G 時代雲 化提供的高算力和高承載能力,預估發展至成熟期需 5 至 10 年。

(三) 5G 助推虛擬現實體驗性、功能性與經濟性的優化提升

相比本地虛擬現實、4G 雲化虛擬現實技術路線,5G 雲化虛擬現實技術性能、功能、成本等方面改善顯著,可歸納為頭動響 應時延(MTP)、渲染能力、顯示能力、使用移動性、顯示能力 市場規模、成本效率。其中,業界普遍認為頭動響應時延(MTP) 應控制在20ms以內,否則容易引起眩暈感。換言之,用戶轉動 頭部改變視角時,終端設備、網絡傳輸、雲端計算的整體用時應 確保頭動和 FOV畫面改變一致,相應新視角所呈現畫面的累計 時延不超過 20ms,也不應出現全部或部分視野無畫面的情況。 依靠終端的本地處理,由於無須考慮網絡時延,領先的設備廠商 如 Oculus 和 HTC Vive 可以做到 20ms內 MTP,但其代價在於犧 牲了移動雲 VR 在終端價格、端雲協作等方面的潛在價值。在 4G 網絡下,通過採用 4G 雲+小型 GPU 的方式,將渲染和視覺計算 放在雲端進行,降低了終端處理壓力的同時,引入了額外的網絡 時延,典型的 4G 空口時延在 10ms-28ms之間。在 5G 網絡下, 由於高帶寬、低時延的網絡特性,5G 網絡把空口時延降低到 1ms, 通過採用 5G+GPU 雲端集群的方式,可將時延控制在10ms以內, 針對高端設備和峰值網絡狀態,有可能達到 7ms-5ms,即 5G 為 虛擬現實在端雲協同與 MTP時延控制間帶來了更大的平衡空間; 對於渲染分辨率、幀率所表徵的渲染能力,在本地進行的渲染, 受限於終端 GPU計算能力,分辨率僅可達到 2K-4K,幀率在 30fps-60fps。在 4G網絡下,通過採用 4G 和雲端渲染,渲染能 力平均可以達到 4K 分辨率、90fps 的效果。在5G網絡下,有望 將渲染能力進一步提升至 8K 分辨率、120fps 效果,整體畫質達到本地處理能力兩倍以上;對於角分辨率、刷新率、視場角所表徵的近眼顯示能力,雖然該類性能指標依賴於光學、屏幕等終端技術,但在虛擬現實端雲協同的發展趨勢下,相比4G網絡,5G 可進一步支持廣視場角顯示(4G:FOV 100°,5G:FOV 140° 及以上)、高刷新率顯示(4G:60Hz-90Hz,5G:120Hz 及以上)、 高分辨率顯示(4G:15-20PPD,5G:30PPD 及以上);對於用 戶移動性而言,在初步解決了 VR 終端有繩化的問題後,5G 可以解決本地以及 4G 雲 VR/AR 所面臨的場景受限問題,通過在高速移動場景中保證100Mbps以上的用戶體驗帶寬,將時下各類虛擬現實應用拓展至車載、高鐵等高速移動應用場景,保證了全場景的服務能力和必要的業務連續性;對於市場潛力和費效比等經濟性因素而言,作為新一代人機交互平臺,虛擬現實在單機版階段的市場發展較為緩慢,應用場景與用戶體驗受限於本地終端。參考梅特卡夫定律以及2017-2022年全球虛擬現實產業規模,相比孤島式單機版的發展之路,虛擬現實的市場潛力有賴於虛擬世界潛藏的網絡價值,比之4G時代,5G 雲化虛擬現實強調用戶連接交互深度(沉浸體驗)而非連接廣度(聯網數量)。此外,在本地VR/AR階段,由於不涉及網絡支持,虛擬現實藉助網絡對單位生產力的貢獻較低。據諾基亞貝爾測算,通過4G網絡傳輸及雲端 GPU 運算處理,其對生產力貢獻的能力約為僅憑藉本地終端貢獻能力的十倍。在 5G 網絡階段,通過 5G 傳輸及雲端GPU 集群運算處理,其對生產力貢獻的能力約為 4G 網絡階段的十倍。

(四) 5G 標準規範演進牽引虛擬現實體驗進階

針對業務需求的實際差異,5G 虛擬現實主要呈現為兩類雲 化部署形態。隨著 5G 網絡對大帶寬、低時延的支持,將部分渲 染、視頻處理的功能轉移到雲端服務器處理,使得采用雲端服務 器和虛擬現實終端的連接成為可能。同時,5G 雲化虛擬現實的 實現方式有助於減少終端處理能力要求,降低頭顯體積與功耗, 且配戴設置更加便捷。目前, 5G 網絡上與虛擬現實業務相關的 服務器存在兩類雲化部署方式,一是將服務器部署在 5G 的核心網絡側的應用服務器上或中央數據中心,二是將其部署在邊緣計 算或接入側數據中心上。兩類方案對虛擬現實的影響聚焦於時延 控制,若部署在接入側數據中心,即意味著更低時延,對時延敏 感型的虛擬現實業務用戶體驗更好,但對於諸如遠程教育等全網 範圍的虛擬現實應用,採用中央數據中心成為常規方案。

隨著 5G 標準從 R15、R16、R17 向 B5G/6G 不斷演進,新 一代移動通信與虛擬現實互相促進,有望實現基於 5G 雲化虛擬 現實技術下的深度沉浸乃至完全沉浸的體驗需求。從 5G 標準制 定看,業界認為 5G網絡演進主要分為三個階段,即 5G、5G 增 強(包括 R16、R17...)和 B5G(Beyond5G)/6G。從R16開始, 5G 進入 5G 增強階段,其中,R16 已確定針對企業應用增強(如 工業互聯網),提出 5G 私網、達到99.9999%的高可靠性要求, 並實現包括無線網絡在內端到端的切片能力,預計 2020 年 3 月 完成標準制定。R17 將支持 52.6 GHz 以上頻譜,加入人工智能/ 機器學習的能力,實現網絡運維的自動化等功能,預計將於2021年底完成標準制定。預計從 2025 年開始,5G 將進入B5G/6G時 代。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、 計算技術、大數據和人工智能技術實現網絡的完全智能和自動化, 並實現下行峰值速率大於 100Gbps的目標。針對虛擬現實對 5G 網絡傳輸的實際需求,總結如下 5G 雲化虛擬現實融合創新技術 發展路徑。

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

虛擬現實渲染處理對帶寬和時延提出了更高要求。渲染處理是虛擬現實領域的關鍵技術,直接影響內容呈現與用戶體驗效果。 當前移動式虛擬現實終端硬件性能有限,僅能輸出不高於智能手 機圖形處理效果的 3D 模型。為提高虛擬現實終端的圖形處理能 力以及 3D 圖形的顯示效果,可利用5G網絡及雲端渲染優化畫 面質量。雲渲染旨在幫助用戶在中低配頭顯上實現渲染能力更強 的PC級虛擬現實沉浸體驗,降低終端購置成本。對於虛擬現實 這一時延敏感型業務,雲渲染引入的新增時延對於用戶體驗潛在影響較大。此外,3D 應用對於用戶指令的響應高度敏感,如進 行虛擬現實遊戲時,用戶指令須得到及時響應,若稍有時延,容 易引發眩暈感。混合雲渲染旨在解決雲渲染所引入的新增時延以 及編碼壓縮造成的畫質損失,將渲染處理拆分為雲端與本地渲染 協同進行,利用雲端強大的渲染與存儲能力實現靜態畫質與視覺 保真度的提升,同時基於本地渲染滿足時延控制要求。5G 網絡 低時延的特性可有效降低分步渲染產生的新增時延,進一步降低 渲染損失和功耗。由於採用雲端渲染處理、終端交互呈現的技術 架構,雲渲染、混合雲渲染對網絡帶寬、時延、可靠性提出更高 要求,對當前高匯聚、高收斂承載網絡面臨更大挑戰。深度學習 渲染成為人工智能在圖像渲染領域的重要技術創新,可實現圖像 降噪、抗鋸齒以及因注視點渲染帶來的渲染負載減少。深度學習 渲染依賴於雲計算龐大計算能力,在中心雲完成深度學習渲染訓 練,之後將訓練集同步到邊緣雲,並藉助 MEC 降低實時渲染時 延,輸出超高畫質效果。目前,學術界與產業界正在越來越多地 投入深度學習渲染這一新興熱點中。光場渲染是基於圖片集進行 影像渲染,在不需要圖像深度信息或相關性的條件下,通過對相 機採集到的圖像集進行渲染計算。在實時渲染的情況下,光場渲 染比三維模型生成的畫面更加真實。光場渲染須存儲空間中所有 光線的方向和角度,進而渲染出場景中所有表面的反射和陰影, 更大的數據流契合 5G 網絡傳輸特性。

基於 5G 的端雲協同模式觸發虛擬現實感知交互能力躍升。 業界主流移動虛擬現實終端可通過基於傳感融合的 SLAM 技術 實現環境感知、設備定位和地圖三維重構等功能。實時定位技術 日趨成熟,三維重構發展相對緩慢,目前尚難以構建出用於導航、 避障等需求的高精度地圖或用於人機互動的語義地圖,上述場景 有賴於圖像分割、物體識別、高精度表面檢測和三維建模領域的 融合創新。基於 5G 網絡的環境感知可分為初期和成熟兩個階段, 初級階段主要解決現有終端側三維重構的缺失,通過與雲端的低 時延通信實時建立並保存地圖。成熟階段須在雲端建立完整的語 義地圖,各終端能夠實時感知自身定位、獲取地圖信息並完成交 互。具言之,5G 對感知交互能力的提升主要表現在機器視覺、 雲端神經網絡和雲端語義地圖三方面。機器視覺基於深度學習的 語義分割開始在識別重建中頻繁採用,準確獲取圖像中的物體類 屬及對應的邊緣 Mask與 Mesh 信息,成為未來有針對性進行重 建的必要步驟。2019 年 6 月蘋果發佈ARKit3套件,展示了全新 人體遮擋效果,通過基於機器視覺的實時肢體姿態捕捉,將真實 人體、虛擬場景與真實環境相互融合。目前,此類融合基於本地 完成,隨著終端對現實世界理解的不斷深入,需要速度更快、算 力更強的神經網絡進行識別、分割、跟蹤、匹配等複雜任務處理, 基於 5G 的雲端處理方式有助於放大機器視覺對環境感知作用, 以更低時延完成實時空間感知與語義標記。雲端神經網絡可以同 時為多種不同的交互模態提供神經網絡運算,如同時處理語音交 互與手勢交互。由於雲端神經網絡藉助超大型 CPU 與GPU集群 進行運算,可處理更加複雜的業務,如自然語言識別等。5G 網 絡可降低多類自然交互產生的疊加時延,降低運算處理和交互耗 時。同時,基於 5G 雲端架構,經過訓練的神經網絡可以部署到 邊緣雲,在面對異地多人多端實時交互的虛擬現實系統時,以更 低時延處理大量交互反饋信息。此外,雲端神經網絡可以與空間 計算相結合,在 5G網絡下提供更加貼合物理世界的虛擬信息和 渲染效果,並對交互信息進行分析和預判,提升物理世界中虛擬 信息的交互體驗。雲端語義地圖把獲取的點雲特徵與雲端預先準 備好的數據庫進行比對,通過具體的語義特徵對點雲地圖進行標 記,達到輔助理解。5G 網絡為雲端語義地圖提供算力更強的雲 端大型 GPU 集群及高速帶寬網絡,基於 5G 雲端的語義地圖, 能更好的結合神經網絡,構建廣域地圖信息,將物理世界進行數 字重建和標記,同時對 AR 雲的搭建提供了極大的技術支持。

5G雲化虛擬現實白皮書

(二) 5G 雲化虛擬現實技術有望在2-5年內逐步成熟

借鑑 Gartner 技術成熟度曲線呈現形式,分析總結如下與 5G 顯著關聯的各類虛擬現實技術產業化進程。5G+虛擬現實的技術 創新大多分佈於穩步爬升光明期、泡沫化低谷期和過高期望峰值 期,預計在兩年內發展成熟的技術以近眼顯示、網絡傳輸領域為 主,佔比約為三分之一。在二至五年內發展至主流階段的技術佔 比接近一半,集中於在雲端進行的面向複雜環境、場景與內容的 渲染計算;有望在5-10年內發展為主流的技術將深入至雲端神 經網絡計算,為場景和應用提供複雜的空間識別算力、高保真渲染效果及虛實融合的交互能力,進而為5G環境下的虛擬現實內容提供更加優質的用戶體驗;面向10年以上成熟的技術目前主 要有光場顯示和混合渲染,在網絡傳輸能力和雲端計算能力發展 到較高程度下,有望為用戶提供完全沉浸體驗。

5G雲化虛擬現實白皮書

在 5G+虛擬現實融合創新方面,受影視行業及機器視覺技術 的快速發展,實時摳像已日趨成熟,5G 雲化將加快這一技術落地,預估 2 年內發展至成熟階段。高性能拼接縫合是時延、帶寬雙敏感型業務,產業化相對較快,預估在 2 年內發展成熟。雲化三維重建藉助雲計算帶來高精度三維重建效果,降低了終端計算負載,目前尚須跨領域技術整合,預計3-5年發展成熟。基於 5G雲化的虛實場景擬合有望促使融合效果出現質變,預估 2-5 年發展成熟。一體多目式(非光場式)全景拍攝發展較快,在 5G 網絡幫助下設備成本和體積將會向小型輕便發展,發展至成熟預估需要2-3年時間。陣列式(光場式)全景拍攝長期受光學和底層圖像處理能力的限制,在 5G 雲端 GPU 集群的助力下有望出現顯著改觀,預估需2-5年時間發展成熟。WebXR 目前仍處於初級階段,但由於本身基於 Web 技術構建,5G 網絡將加快其迭代和落地,2019 年初 WebXR 剛發佈API 1.0 版草案,發展成熟仍有 5-10 年時間。依據 3GPP 標準制定進度,5G R15 確定了 5G的基本架構,包括新的空口、非獨立(NSA)/獨立(SA)組網網絡架構、雲化核心網、核心網網絡切片等基本技術,實現小區下行峰值速率10Gbps、空口時延 1ms 的目標,該標準自2018年底開始在全球逐步建設,邊緣計算設備也將隨著 5G 網絡的建設開始部署,支持 5G 雲化虛擬現實應用。而 5G R16 所支持的行業應用技術,包括端到端(包含無線網絡)網絡切片、高可靠性等技術,將隨著標準的完成在未來 2-5 年內逐步部署。5G R17於2019年開始確定研究課題,現階段的重點為加入人工智能/機器學習的能力,實現網絡運維的自動化等功能,因此部署的時間還將更晚。預計從 2025 年開始,5G 將進入B5G/6G 時代,開始B5G 和6G的技術研究和部署。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、計算技術、大數據和人工智能技術實現網絡的完全智能和自動化,並實現下行峰值速率大於 100Gbps的目標。6G 的標準化預計要到2028年以後才能形成,正式商用則預計在 2030 年以後。在傳輸預處理方面,目前虛擬現實視頻編碼仍主要使用 HEVC,H.265 已成為主流技術。5G 對視頻編碼技術提出了更高的要求,下一代視頻編碼標準 H.266 在 2018年4月正式開始標準化工作,將於 2020 年發佈標準,預計於 5-10 年可以成為新的主流技術。混合渲染對雲渲染技術有一定依賴性, 屬於在雲渲染基礎上對畫質、時延和功耗的優化,發展至成熟仍 需 2-5 年。深度學習渲染須採集大量圖形渲染數據進行訓練,該 技術在學界和業界仍處於研討期,短期內難以商用落地,預估成 熟期在 5-10年。作為面向未來的渲染技術,光場渲染的處理、 優化、傳輸尚處於基礎技術研發階段,預估成熟期在10年以上。 機器視覺需要依賴神經網絡提供計算與分析,5G 雲化將提供 GPU 和CPU集群,加快訓練速度,預期到達技術成熟需 3 至 5 年時間。雲端神經網絡和雲端語義地圖,將為物理世界的數字化 構建提供更加精確的建圖能力和定位能力,需藉助後 5G 時代雲 化提供的高算力和高承載能力,預估發展至成熟期需 5 至 10 年。

(三) 5G 助推虛擬現實體驗性、功能性與經濟性的優化提升

相比本地虛擬現實、4G 雲化虛擬現實技術路線,5G 雲化虛擬現實技術性能、功能、成本等方面改善顯著,可歸納為頭動響 應時延(MTP)、渲染能力、顯示能力、使用移動性、顯示能力 市場規模、成本效率。其中,業界普遍認為頭動響應時延(MTP) 應控制在20ms以內,否則容易引起眩暈感。換言之,用戶轉動 頭部改變視角時,終端設備、網絡傳輸、雲端計算的整體用時應 確保頭動和 FOV畫面改變一致,相應新視角所呈現畫面的累計 時延不超過 20ms,也不應出現全部或部分視野無畫面的情況。 依靠終端的本地處理,由於無須考慮網絡時延,領先的設備廠商 如 Oculus 和 HTC Vive 可以做到 20ms內 MTP,但其代價在於犧 牲了移動雲 VR 在終端價格、端雲協作等方面的潛在價值。在 4G 網絡下,通過採用 4G 雲+小型 GPU 的方式,將渲染和視覺計算 放在雲端進行,降低了終端處理壓力的同時,引入了額外的網絡 時延,典型的 4G 空口時延在 10ms-28ms之間。在 5G 網絡下, 由於高帶寬、低時延的網絡特性,5G 網絡把空口時延降低到 1ms, 通過採用 5G+GPU 雲端集群的方式,可將時延控制在10ms以內, 針對高端設備和峰值網絡狀態,有可能達到 7ms-5ms,即 5G 為 虛擬現實在端雲協同與 MTP時延控制間帶來了更大的平衡空間; 對於渲染分辨率、幀率所表徵的渲染能力,在本地進行的渲染, 受限於終端 GPU計算能力,分辨率僅可達到 2K-4K,幀率在 30fps-60fps。在 4G網絡下,通過採用 4G 和雲端渲染,渲染能 力平均可以達到 4K 分辨率、90fps 的效果。在5G網絡下,有望 將渲染能力進一步提升至 8K 分辨率、120fps 效果,整體畫質達到本地處理能力兩倍以上;對於角分辨率、刷新率、視場角所表徵的近眼顯示能力,雖然該類性能指標依賴於光學、屏幕等終端技術,但在虛擬現實端雲協同的發展趨勢下,相比4G網絡,5G 可進一步支持廣視場角顯示(4G:FOV 100°,5G:FOV 140° 及以上)、高刷新率顯示(4G:60Hz-90Hz,5G:120Hz 及以上)、 高分辨率顯示(4G:15-20PPD,5G:30PPD 及以上);對於用 戶移動性而言,在初步解決了 VR 終端有繩化的問題後,5G 可以解決本地以及 4G 雲 VR/AR 所面臨的場景受限問題,通過在高速移動場景中保證100Mbps以上的用戶體驗帶寬,將時下各類虛擬現實應用拓展至車載、高鐵等高速移動應用場景,保證了全場景的服務能力和必要的業務連續性;對於市場潛力和費效比等經濟性因素而言,作為新一代人機交互平臺,虛擬現實在單機版階段的市場發展較為緩慢,應用場景與用戶體驗受限於本地終端。參考梅特卡夫定律以及2017-2022年全球虛擬現實產業規模,相比孤島式單機版的發展之路,虛擬現實的市場潛力有賴於虛擬世界潛藏的網絡價值,比之4G時代,5G 雲化虛擬現實強調用戶連接交互深度(沉浸體驗)而非連接廣度(聯網數量)。此外,在本地VR/AR階段,由於不涉及網絡支持,虛擬現實藉助網絡對單位生產力的貢獻較低。據諾基亞貝爾測算,通過4G網絡傳輸及雲端 GPU 運算處理,其對生產力貢獻的能力約為僅憑藉本地終端貢獻能力的十倍。在 5G 網絡階段,通過 5G 傳輸及雲端GPU 集群運算處理,其對生產力貢獻的能力約為 4G 網絡階段的十倍。

(四) 5G 標準規範演進牽引虛擬現實體驗進階

針對業務需求的實際差異,5G 虛擬現實主要呈現為兩類雲 化部署形態。隨著 5G 網絡對大帶寬、低時延的支持,將部分渲 染、視頻處理的功能轉移到雲端服務器處理,使得采用雲端服務 器和虛擬現實終端的連接成為可能。同時,5G 雲化虛擬現實的 實現方式有助於減少終端處理能力要求,降低頭顯體積與功耗, 且配戴設置更加便捷。目前, 5G 網絡上與虛擬現實業務相關的 服務器存在兩類雲化部署方式,一是將服務器部署在 5G 的核心網絡側的應用服務器上或中央數據中心,二是將其部署在邊緣計 算或接入側數據中心上。兩類方案對虛擬現實的影響聚焦於時延 控制,若部署在接入側數據中心,即意味著更低時延,對時延敏 感型的虛擬現實業務用戶體驗更好,但對於諸如遠程教育等全網 範圍的虛擬現實應用,採用中央數據中心成為常規方案。

隨著 5G 標準從 R15、R16、R17 向 B5G/6G 不斷演進,新 一代移動通信與虛擬現實互相促進,有望實現基於 5G 雲化虛擬 現實技術下的深度沉浸乃至完全沉浸的體驗需求。從 5G 標準制 定看,業界認為 5G網絡演進主要分為三個階段,即 5G、5G 增 強(包括 R16、R17...)和 B5G(Beyond5G)/6G。從R16開始, 5G 進入 5G 增強階段,其中,R16 已確定針對企業應用增強(如 工業互聯網),提出 5G 私網、達到99.9999%的高可靠性要求, 並實現包括無線網絡在內端到端的切片能力,預計 2020 年 3 月 完成標準制定。R17 將支持 52.6 GHz 以上頻譜,加入人工智能/ 機器學習的能力,實現網絡運維的自動化等功能,預計將於2021年底完成標準制定。預計從 2025 年開始,5G 將進入B5G/6G時 代。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、 計算技術、大數據和人工智能技術實現網絡的完全智能和自動化, 並實現下行峰值速率大於 100Gbps的目標。針對虛擬現實對 5G 網絡傳輸的實際需求,總結如下 5G 雲化虛擬現實融合創新技術 發展路徑。

5G雲化虛擬現實白皮書

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

虛擬現實渲染處理對帶寬和時延提出了更高要求。渲染處理是虛擬現實領域的關鍵技術,直接影響內容呈現與用戶體驗效果。 當前移動式虛擬現實終端硬件性能有限,僅能輸出不高於智能手 機圖形處理效果的 3D 模型。為提高虛擬現實終端的圖形處理能 力以及 3D 圖形的顯示效果,可利用5G網絡及雲端渲染優化畫 面質量。雲渲染旨在幫助用戶在中低配頭顯上實現渲染能力更強 的PC級虛擬現實沉浸體驗,降低終端購置成本。對於虛擬現實 這一時延敏感型業務,雲渲染引入的新增時延對於用戶體驗潛在影響較大。此外,3D 應用對於用戶指令的響應高度敏感,如進 行虛擬現實遊戲時,用戶指令須得到及時響應,若稍有時延,容 易引發眩暈感。混合雲渲染旨在解決雲渲染所引入的新增時延以 及編碼壓縮造成的畫質損失,將渲染處理拆分為雲端與本地渲染 協同進行,利用雲端強大的渲染與存儲能力實現靜態畫質與視覺 保真度的提升,同時基於本地渲染滿足時延控制要求。5G 網絡 低時延的特性可有效降低分步渲染產生的新增時延,進一步降低 渲染損失和功耗。由於採用雲端渲染處理、終端交互呈現的技術 架構,雲渲染、混合雲渲染對網絡帶寬、時延、可靠性提出更高 要求,對當前高匯聚、高收斂承載網絡面臨更大挑戰。深度學習 渲染成為人工智能在圖像渲染領域的重要技術創新,可實現圖像 降噪、抗鋸齒以及因注視點渲染帶來的渲染負載減少。深度學習 渲染依賴於雲計算龐大計算能力,在中心雲完成深度學習渲染訓 練,之後將訓練集同步到邊緣雲,並藉助 MEC 降低實時渲染時 延,輸出超高畫質效果。目前,學術界與產業界正在越來越多地 投入深度學習渲染這一新興熱點中。光場渲染是基於圖片集進行 影像渲染,在不需要圖像深度信息或相關性的條件下,通過對相 機採集到的圖像集進行渲染計算。在實時渲染的情況下,光場渲 染比三維模型生成的畫面更加真實。光場渲染須存儲空間中所有 光線的方向和角度,進而渲染出場景中所有表面的反射和陰影, 更大的數據流契合 5G 網絡傳輸特性。

基於 5G 的端雲協同模式觸發虛擬現實感知交互能力躍升。 業界主流移動虛擬現實終端可通過基於傳感融合的 SLAM 技術 實現環境感知、設備定位和地圖三維重構等功能。實時定位技術 日趨成熟,三維重構發展相對緩慢,目前尚難以構建出用於導航、 避障等需求的高精度地圖或用於人機互動的語義地圖,上述場景 有賴於圖像分割、物體識別、高精度表面檢測和三維建模領域的 融合創新。基於 5G 網絡的環境感知可分為初期和成熟兩個階段, 初級階段主要解決現有終端側三維重構的缺失,通過與雲端的低 時延通信實時建立並保存地圖。成熟階段須在雲端建立完整的語 義地圖,各終端能夠實時感知自身定位、獲取地圖信息並完成交 互。具言之,5G 對感知交互能力的提升主要表現在機器視覺、 雲端神經網絡和雲端語義地圖三方面。機器視覺基於深度學習的 語義分割開始在識別重建中頻繁採用,準確獲取圖像中的物體類 屬及對應的邊緣 Mask與 Mesh 信息,成為未來有針對性進行重 建的必要步驟。2019 年 6 月蘋果發佈ARKit3套件,展示了全新 人體遮擋效果,通過基於機器視覺的實時肢體姿態捕捉,將真實 人體、虛擬場景與真實環境相互融合。目前,此類融合基於本地 完成,隨著終端對現實世界理解的不斷深入,需要速度更快、算 力更強的神經網絡進行識別、分割、跟蹤、匹配等複雜任務處理, 基於 5G 的雲端處理方式有助於放大機器視覺對環境感知作用, 以更低時延完成實時空間感知與語義標記。雲端神經網絡可以同 時為多種不同的交互模態提供神經網絡運算,如同時處理語音交 互與手勢交互。由於雲端神經網絡藉助超大型 CPU 與GPU集群 進行運算,可處理更加複雜的業務,如自然語言識別等。5G 網 絡可降低多類自然交互產生的疊加時延,降低運算處理和交互耗 時。同時,基於 5G 雲端架構,經過訓練的神經網絡可以部署到 邊緣雲,在面對異地多人多端實時交互的虛擬現實系統時,以更 低時延處理大量交互反饋信息。此外,雲端神經網絡可以與空間 計算相結合,在 5G網絡下提供更加貼合物理世界的虛擬信息和 渲染效果,並對交互信息進行分析和預判,提升物理世界中虛擬 信息的交互體驗。雲端語義地圖把獲取的點雲特徵與雲端預先準 備好的數據庫進行比對,通過具體的語義特徵對點雲地圖進行標 記,達到輔助理解。5G 網絡為雲端語義地圖提供算力更強的雲 端大型 GPU 集群及高速帶寬網絡,基於 5G 雲端的語義地圖, 能更好的結合神經網絡,構建廣域地圖信息,將物理世界進行數 字重建和標記,同時對 AR 雲的搭建提供了極大的技術支持。

5G雲化虛擬現實白皮書

(二) 5G 雲化虛擬現實技術有望在2-5年內逐步成熟

借鑑 Gartner 技術成熟度曲線呈現形式,分析總結如下與 5G 顯著關聯的各類虛擬現實技術產業化進程。5G+虛擬現實的技術 創新大多分佈於穩步爬升光明期、泡沫化低谷期和過高期望峰值 期,預計在兩年內發展成熟的技術以近眼顯示、網絡傳輸領域為 主,佔比約為三分之一。在二至五年內發展至主流階段的技術佔 比接近一半,集中於在雲端進行的面向複雜環境、場景與內容的 渲染計算;有望在5-10年內發展為主流的技術將深入至雲端神 經網絡計算,為場景和應用提供複雜的空間識別算力、高保真渲染效果及虛實融合的交互能力,進而為5G環境下的虛擬現實內容提供更加優質的用戶體驗;面向10年以上成熟的技術目前主 要有光場顯示和混合渲染,在網絡傳輸能力和雲端計算能力發展 到較高程度下,有望為用戶提供完全沉浸體驗。

5G雲化虛擬現實白皮書

在 5G+虛擬現實融合創新方面,受影視行業及機器視覺技術 的快速發展,實時摳像已日趨成熟,5G 雲化將加快這一技術落地,預估 2 年內發展至成熟階段。高性能拼接縫合是時延、帶寬雙敏感型業務,產業化相對較快,預估在 2 年內發展成熟。雲化三維重建藉助雲計算帶來高精度三維重建效果,降低了終端計算負載,目前尚須跨領域技術整合,預計3-5年發展成熟。基於 5G雲化的虛實場景擬合有望促使融合效果出現質變,預估 2-5 年發展成熟。一體多目式(非光場式)全景拍攝發展較快,在 5G 網絡幫助下設備成本和體積將會向小型輕便發展,發展至成熟預估需要2-3年時間。陣列式(光場式)全景拍攝長期受光學和底層圖像處理能力的限制,在 5G 雲端 GPU 集群的助力下有望出現顯著改觀,預估需2-5年時間發展成熟。WebXR 目前仍處於初級階段,但由於本身基於 Web 技術構建,5G 網絡將加快其迭代和落地,2019 年初 WebXR 剛發佈API 1.0 版草案,發展成熟仍有 5-10 年時間。依據 3GPP 標準制定進度,5G R15 確定了 5G的基本架構,包括新的空口、非獨立(NSA)/獨立(SA)組網網絡架構、雲化核心網、核心網網絡切片等基本技術,實現小區下行峰值速率10Gbps、空口時延 1ms 的目標,該標準自2018年底開始在全球逐步建設,邊緣計算設備也將隨著 5G 網絡的建設開始部署,支持 5G 雲化虛擬現實應用。而 5G R16 所支持的行業應用技術,包括端到端(包含無線網絡)網絡切片、高可靠性等技術,將隨著標準的完成在未來 2-5 年內逐步部署。5G R17於2019年開始確定研究課題,現階段的重點為加入人工智能/機器學習的能力,實現網絡運維的自動化等功能,因此部署的時間還將更晚。預計從 2025 年開始,5G 將進入B5G/6G 時代,開始B5G 和6G的技術研究和部署。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、計算技術、大數據和人工智能技術實現網絡的完全智能和自動化,並實現下行峰值速率大於 100Gbps的目標。6G 的標準化預計要到2028年以後才能形成,正式商用則預計在 2030 年以後。在傳輸預處理方面,目前虛擬現實視頻編碼仍主要使用 HEVC,H.265 已成為主流技術。5G 對視頻編碼技術提出了更高的要求,下一代視頻編碼標準 H.266 在 2018年4月正式開始標準化工作,將於 2020 年發佈標準,預計於 5-10 年可以成為新的主流技術。混合渲染對雲渲染技術有一定依賴性, 屬於在雲渲染基礎上對畫質、時延和功耗的優化,發展至成熟仍 需 2-5 年。深度學習渲染須採集大量圖形渲染數據進行訓練,該 技術在學界和業界仍處於研討期,短期內難以商用落地,預估成 熟期在 5-10年。作為面向未來的渲染技術,光場渲染的處理、 優化、傳輸尚處於基礎技術研發階段,預估成熟期在10年以上。 機器視覺需要依賴神經網絡提供計算與分析,5G 雲化將提供 GPU 和CPU集群,加快訓練速度,預期到達技術成熟需 3 至 5 年時間。雲端神經網絡和雲端語義地圖,將為物理世界的數字化 構建提供更加精確的建圖能力和定位能力,需藉助後 5G 時代雲 化提供的高算力和高承載能力,預估發展至成熟期需 5 至 10 年。

(三) 5G 助推虛擬現實體驗性、功能性與經濟性的優化提升

相比本地虛擬現實、4G 雲化虛擬現實技術路線,5G 雲化虛擬現實技術性能、功能、成本等方面改善顯著,可歸納為頭動響 應時延(MTP)、渲染能力、顯示能力、使用移動性、顯示能力 市場規模、成本效率。其中,業界普遍認為頭動響應時延(MTP) 應控制在20ms以內,否則容易引起眩暈感。換言之,用戶轉動 頭部改變視角時,終端設備、網絡傳輸、雲端計算的整體用時應 確保頭動和 FOV畫面改變一致,相應新視角所呈現畫面的累計 時延不超過 20ms,也不應出現全部或部分視野無畫面的情況。 依靠終端的本地處理,由於無須考慮網絡時延,領先的設備廠商 如 Oculus 和 HTC Vive 可以做到 20ms內 MTP,但其代價在於犧 牲了移動雲 VR 在終端價格、端雲協作等方面的潛在價值。在 4G 網絡下,通過採用 4G 雲+小型 GPU 的方式,將渲染和視覺計算 放在雲端進行,降低了終端處理壓力的同時,引入了額外的網絡 時延,典型的 4G 空口時延在 10ms-28ms之間。在 5G 網絡下, 由於高帶寬、低時延的網絡特性,5G 網絡把空口時延降低到 1ms, 通過採用 5G+GPU 雲端集群的方式,可將時延控制在10ms以內, 針對高端設備和峰值網絡狀態,有可能達到 7ms-5ms,即 5G 為 虛擬現實在端雲協同與 MTP時延控制間帶來了更大的平衡空間; 對於渲染分辨率、幀率所表徵的渲染能力,在本地進行的渲染, 受限於終端 GPU計算能力,分辨率僅可達到 2K-4K,幀率在 30fps-60fps。在 4G網絡下,通過採用 4G 和雲端渲染,渲染能 力平均可以達到 4K 分辨率、90fps 的效果。在5G網絡下,有望 將渲染能力進一步提升至 8K 分辨率、120fps 效果,整體畫質達到本地處理能力兩倍以上;對於角分辨率、刷新率、視場角所表徵的近眼顯示能力,雖然該類性能指標依賴於光學、屏幕等終端技術,但在虛擬現實端雲協同的發展趨勢下,相比4G網絡,5G 可進一步支持廣視場角顯示(4G:FOV 100°,5G:FOV 140° 及以上)、高刷新率顯示(4G:60Hz-90Hz,5G:120Hz 及以上)、 高分辨率顯示(4G:15-20PPD,5G:30PPD 及以上);對於用 戶移動性而言,在初步解決了 VR 終端有繩化的問題後,5G 可以解決本地以及 4G 雲 VR/AR 所面臨的場景受限問題,通過在高速移動場景中保證100Mbps以上的用戶體驗帶寬,將時下各類虛擬現實應用拓展至車載、高鐵等高速移動應用場景,保證了全場景的服務能力和必要的業務連續性;對於市場潛力和費效比等經濟性因素而言,作為新一代人機交互平臺,虛擬現實在單機版階段的市場發展較為緩慢,應用場景與用戶體驗受限於本地終端。參考梅特卡夫定律以及2017-2022年全球虛擬現實產業規模,相比孤島式單機版的發展之路,虛擬現實的市場潛力有賴於虛擬世界潛藏的網絡價值,比之4G時代,5G 雲化虛擬現實強調用戶連接交互深度(沉浸體驗)而非連接廣度(聯網數量)。此外,在本地VR/AR階段,由於不涉及網絡支持,虛擬現實藉助網絡對單位生產力的貢獻較低。據諾基亞貝爾測算,通過4G網絡傳輸及雲端 GPU 運算處理,其對生產力貢獻的能力約為僅憑藉本地終端貢獻能力的十倍。在 5G 網絡階段,通過 5G 傳輸及雲端GPU 集群運算處理,其對生產力貢獻的能力約為 4G 網絡階段的十倍。

(四) 5G 標準規範演進牽引虛擬現實體驗進階

針對業務需求的實際差異,5G 虛擬現實主要呈現為兩類雲 化部署形態。隨著 5G 網絡對大帶寬、低時延的支持,將部分渲 染、視頻處理的功能轉移到雲端服務器處理,使得采用雲端服務 器和虛擬現實終端的連接成為可能。同時,5G 雲化虛擬現實的 實現方式有助於減少終端處理能力要求,降低頭顯體積與功耗, 且配戴設置更加便捷。目前, 5G 網絡上與虛擬現實業務相關的 服務器存在兩類雲化部署方式,一是將服務器部署在 5G 的核心網絡側的應用服務器上或中央數據中心,二是將其部署在邊緣計 算或接入側數據中心上。兩類方案對虛擬現實的影響聚焦於時延 控制,若部署在接入側數據中心,即意味著更低時延,對時延敏 感型的虛擬現實業務用戶體驗更好,但對於諸如遠程教育等全網 範圍的虛擬現實應用,採用中央數據中心成為常規方案。

隨著 5G 標準從 R15、R16、R17 向 B5G/6G 不斷演進,新 一代移動通信與虛擬現實互相促進,有望實現基於 5G 雲化虛擬 現實技術下的深度沉浸乃至完全沉浸的體驗需求。從 5G 標準制 定看,業界認為 5G網絡演進主要分為三個階段,即 5G、5G 增 強(包括 R16、R17...)和 B5G(Beyond5G)/6G。從R16開始, 5G 進入 5G 增強階段,其中,R16 已確定針對企業應用增強(如 工業互聯網),提出 5G 私網、達到99.9999%的高可靠性要求, 並實現包括無線網絡在內端到端的切片能力,預計 2020 年 3 月 完成標準制定。R17 將支持 52.6 GHz 以上頻譜,加入人工智能/ 機器學習的能力,實現網絡運維的自動化等功能,預計將於2021年底完成標準制定。預計從 2025 年開始,5G 將進入B5G/6G時 代。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、 計算技術、大數據和人工智能技術實現網絡的完全智能和自動化, 並實現下行峰值速率大於 100Gbps的目標。針對虛擬現實對 5G 網絡傳輸的實際需求,總結如下 5G 雲化虛擬現實融合創新技術 發展路徑。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

"

(溫馨提示:文末有下載方式)

目錄:

  • 一、 背景概況
  • 二、 技術趨勢
  • 三、5G 雲化虛擬現實應用場景
  • 四、 發展建議

報告內容:

一、背景概況

(一) 5G 三大場景成為經濟社會數字化轉型的關鍵使能器

自上世紀 80 年代以來,移動通信每十年出現新一代革命性 技術,持續加快信息產業的創新進程,不斷推動經濟社會的繁榮 發展。目前,我國移動數據流量的快速增長將使城市核心區業務 密度大幅提升,預計在 2021年左右將超過 4G 網絡最大承載能 力。此外,現今的 4G 移動通信技術主要用於消費領域,尚未真 正從根本上變革經濟體的工業或公共部門,隨著 5G 技術不斷髮 展並支持海量終端、機器和流程聯網,通信將成為一個高速率、 高吞吐量、高可靠性和低時延平臺。5G 將以全新的網絡架構, 提供至少十倍於 4G 的峰值速率、毫秒級的傳輸時延和千億級的 連接能力,開啟萬物廣泛互聯、人機深度交互的新時代。

從移動互聯網和物聯網主要應用場景、業務需求及挑戰出發, 可歸納出三大 5G 主要技術場景。一是增強型移動寬帶(eMBB), 將擴展現有4G價值,大幅提升網絡性能和用戶體驗,主要用於 虛擬現實、超高清視頻等文娛領域,並驅動4.4萬億美元的經濟 活動;二是海量機器類通信(mMTC),將提升頻譜利用能力, 顯著降低成本,促進機器通信和傳統物聯網應用投入,主要在智 慧城市、智能家居等領域產生規模經濟效益,將驅動3.6萬億美 元的經濟活動;三是超高可靠低時延通信(uRLLC),支持高可靠性、超低時延、高安全性及可用性的關鍵業務型應用,如工業自動化、自動駕駛汽車、遠程醫療等,將驅動 4.3 萬億美元的經 濟活動。根據目標市場需求和技術成熟度,以大型賽事等活動和 娛樂消費為牽引,增強型移動寬帶是首先獲得應用的場景,其次 是由工業互聯網和車聯網驅動的超高可靠低時延通信,最後是需 要良好的網絡覆蓋和低成本通信終端的海量機器通信。總體上看, 5G 的廣泛應用將為大眾創業、萬眾創新提供堅實支撐,助推制 造強國、網絡強國建設,使新一代移動通信成為引領國家數字化 轉型的通用目的技術。

(二) 5G 產業鏈條長,輻射帶動性強

從傳統通信產業升級需求和垂直行業應用需求角度出發, 5G 產業可大致分為基礎層、設備層、網絡層、支撐層以及應用 層。基礎層包括集成電路、新型顯示、通信組件等,為上層通信 設備和應用服務提供基礎技術支撐;設備層包括系統設備、雲設備、終端設備和儀器儀表等,為應用服務提供通信傳輸路徑;網絡層包括網絡規劃、運營商、IT 服務和網絡安全等,是落實通 信基礎設施建設和通信能力保障的重要組成部分;支撐層將提供 雲計算、邊緣計算、大數據、人工智能等數據處理、挖掘、分析 能力,服務於傳統通信和垂直行業的相關應用需求;應用層依託 以上各層基礎實現 5G 與大視頻(虛擬/增強現實和超高清視頻)、 無人機、工業互聯網、車聯網、醫療健康等各個行業的融合應用。

5G觸發信息產業重點領域發展升級。5G 網絡規模部署首先將推動 ICT 製造產業升級,射頻、天線、光模塊及系統設備將迎來技術升級和產業需求擴張。在集成電路等基礎硬件方面,5G時代頻段數量提升及海量設備連接帶來濾波器和功率放大器增量明顯,到 2020 年全球射頻器件整體規模將達到 200 億美元, 200mm等效的射頻 SOI 晶圓出貨量超過 200 萬片;同時 5G 網絡架構變化以及基站規模部署將有效刺激光模塊需求,預計 5G 時 代我國光模塊產業投資額大約為 1500 億元-1700 億元(包括無線網絡和傳輸網)。在設備層面,Massive MIMO 技術要求天線系統具備 64T64R 或 128T128R 並搭配多組射頻單元,5G 時期基站天

線投資規模將遠超 4G,總投資額達到約 500 億元規模水平,並帶動 PCB 量價齊升,預計單個 5G 宏基站的 PCB 價值量是 4G時代的兩倍以上。在網絡服務層面,2017 年我國網絡安全產業規模達到 457 億元,5G 時代以提高系統靈活性和效率並降低成為而引入的 SDN 和 NFV 等IT技術將給網絡安全帶來更多挑戰,預計 5G 正式商用後網絡安全產業將迎來全新的增長動能。

5G催生信息產業衍生全新產業鏈條。其一,移動邊緣計算 是為適配 5G 網絡超大連接、超低時延以及超大帶寬等核心要素 而形成的分佈式計算方式,並衍生出全新的產業生態系統,包括 電信運營商、電信設備商、IT 廠商、第三方應用和內容提供商 等多個環節。其二,5G 具有高頻和低頻兩種頻譜資源,宏基站 作為低頻載體是前期網絡商用部署重點,而中後期高頻網絡的無 縫深度覆蓋,將推動基站需求由宏基站向小基站轉移,中小型設 備廠商及 IT設備商積極進入小基站市場,預計 2021 年全球室內 小型基站市場規模將達到 18 億美元。其三,5G 網絡呈現軟件化、 智能化和平臺化趨勢,通信技術與信息技術的深度融合將有效推 動 SDN/NFV 等網絡服務產業發展,到 2022 年全球 NFV 和運營 商 SDN 市場規模分別將達到375億和 178 億美元。

5G賦能跨界應用產業提質增效。5G 通過與交通、醫療、工 業、文化娛樂等各個行業融合,孕育新興信息產品和服務,產生 各種 5G 行業應用,重塑傳統產業發展模式。5G 技術讓智能家 居、可穿戴設備等新型信息產品,虛擬現實等數字內容服務真正 走進千家萬戶,增加信息消費的有效供給,推動信息消費的擴大 和升級,釋放內需潛力。5G也將與大數據、雲計算、邊緣計算、 人工智能等 ICT 前沿科技技術深度融合,產生更具創新的豐富應 用,提升了 5G 各應用領域的智能化水平。

5G雲化虛擬現實白皮書

(三) 2019 年成為我國5G商用元年

我國高度重視 5G 戰略地位,通過網絡強國、製造強國、十 三五規劃等對 5G 做出重要部署,旨在完成“2G 起步,3G 突破,4G並跑,5G 引領”的發展任務,使我國成為 5G 技術、標準、 產業和應用發展的領先國家之一。總體發展思路歸納為:加強統 籌規劃,建立協同推進機制;統籌科技資源,加大研發支持力度; 推動形成全球統一的5G國際標準;啟動技術試驗,支撐研發與 國際標準制定;加強組織協調,提高國際標準話語權;開展頻譜 研究,為5G發展爭取頻率資源;注重應用牽引,開展5G面向 行業應用研究;加強開放與合作,推動構建國際合作體系。相應 舉措是:成立國家 IMT-2020(5G)推進組;部署重大專項及 863 項目;啟動 5G 技術研發試驗;推進 5G 與行業應用融合;2019 年 6 月 6 日工信部正式向中國移動、中國電信、中國聯通和中國廣電4家公司發放 5G 商用牌照。

(四) 基於eMBB場景的虛擬現實成為 5G 應用落地的切入點

我國三大電信運營商積極開展 5G 雲 VR 創新業務佈局。中 國移動通信集團福建有限公司於 2018 年 7 月開啟全球首個電信 運營商雲 VR 業務試商用。2018 年9月中國聯通發佈了 5G+視頻 推進計劃,將從技術引領、開放合作、重大應用、規模推廣等四 個方面啟動 5G+視頻未來推進計劃,並以 8K、VR為代表的 5G 網絡超高清視頻應用將構成未來中國聯通 5G+視頻戰略核心。中 國電信同期發佈了雲 VR 計劃,將立足中國電信 1.5 億寬帶用戶 產業基礎,依託於網絡、雲計算和智慧家庭等方面的優勢資源, 聯合合作伙伴制定雲 VR 規範,加速推進雲 VR 技術的產品化和 商業模式創新。此外,為加速虛擬現實產業普及推廣,工信部在 2018 年 12 月印發《關於加快推進虛擬現實產業發展的指導意見》(簡稱《意見》),《意見》提出發展端雲協同的虛擬現實網絡分 發和應用服務聚合平臺(Cloud VR),旨在提升高質量、產業級、 規模化產品的有效供給。

5G雲化虛擬現實核心在於內容上雲、渲染上雲、乃至日後 的製作上雲。將雲計算、雲渲染的理念及技術引入到虛擬現實業 務中,藉助高速穩定的網絡,將雲端的顯示輸出和聲音輸出等經 過編碼壓縮後傳輸到用戶的終端設備,在虛擬現實終端無繩化的 情況下,實現業務內容上雲、渲染上雲,成為貫通採集、傳輸、 播放全流程的雲控平臺解決方案。其中,渲染上雲是指將計算復 雜度高的渲染設置在雲端處理,大幅降低終端 CPU+GPU 渲染計 算壓力,使終端容易以輕量的方式和較低的消費成本能被用戶所接受。內容上雲是指計算機圖形渲染移到雲上後,內容以視頻流 的方式通過網絡推向用戶,藉助網絡的 Wi-Fi 和 5G 技術,可把 連接終端的 HDMI 線減除,實現終端無繩化、移動化。

用戶體驗、終端成本、技術創新與內容版權成為 5G 雲 VR 發展動因。VR 用戶體驗與終端成本的平衡是目前影響 VR 產業 發展的關鍵問題。低成本終端確實有助於提升 VR 硬件普及率, 但有限的硬件配置也限制了用戶體驗,影響了消費者對 VR 的持 續使用和真正接納。另一方面,以 HTC VIVE、Oculus Rift、Sony PlayStation 等為代表的高品質 VR 設備,其配置套裝價格高達數 千乃至萬元,過高的終端成本明顯制約了高品質 VR 的普及。在 這一背景下,5G 雲 VR有望切實加速推動 VR 規模化應用,預 計 2020 年,VR用戶滲透率將達 15%,視頻用戶滲透率達 80%。 通過將 VR應用所需的內容處理與計算能力置於雲端,可有效大 幅降低終端成本,且維持良好的用戶體驗,對VR業務的流暢性、 清晰度、無繩化等提供保障。同時,隨著 VR 終端的逐漸普及, VR 內容需要不斷適配各類不同規格的硬件設備。在 Cloud VR 架構下,VR內容處理與計算能力駐留在雲端,可以便捷地適配 差異化的 VR 硬件設備,同時針對高昂的虛擬現實內容製作成本, 也有助於實施更嚴格的內容版權保護措施,遏制內容盜版,保護 VR 產業的可持續發展。此外,由於 Cloud VR 的計算和內容處 理在雲端完成,VR 內容在雲端與終端設備間的傳輸需要相比 4G 時代更優的帶寬和時延水平,利用 5G 網絡的高速率、低時延特 性,電信運營商可以開發基於體驗的新型業務模式,為 5G 網絡的市場經營和業務發展探索新的機會,探索 5G 時代的殺手級應 用,加快投資回收速度。在這一過程中,運營商憑藉擁有的渠道、 資金和技術優勢,聚合產業資源,通過Cloud VR 連接電信網絡 與 VR 產業鏈,促進生態各方的共贏發展。

(五) 5G 雲VR成為虛擬現實產業生態中的新興力量

虛擬現實產業鏈條長,參與主體多,主要分為內容應用、終 端器件、網絡平臺和內容生產。目前,5G 雲 VR 正成為虛擬現 實產業生態中的新興力量。內容應用方面,聚焦文化娛樂、教育 培訓、工業生產、醫療健康和商貿創意領域,呈現出“虛擬現實+”大眾與行業應用融合創新的特點。終端器件方面,傳統高配置 VR 終端造價高昂,主要涉及一體式與主機式頭顯整機、追蹤定 位與多通道交互等感知交互外設、屏幕、芯片、傳感器、鏡片等 關鍵器件,5G雲 VR 可有效降低終端配置需求,且維持良好的 用戶體驗,促進規模化應用。網絡平臺方面,除互聯網廠商主導 的內容聚合與分發平臺外,電信運營商以雲化架構為引領推出寬 帶及 5G雲 VR,基於虛擬現實終端無繩化發展趨勢,實現業務 內容上雲、渲染上雲,以期降低優質內容的獲取難度和硬件成本, 探索虛擬現實現階段規模化應用,5G 網絡將進一步提升現有云 VR 體驗層級,且為工業、醫療等對低延時要求極高的場景提供 可能。內容生產方面,主要涉及面向虛擬現實的操作系統、開發 引擎、SDK、API、拼接縫合軟件、全景相機、3D 掃描儀等開發 環境、工具與內容採集系統。

(六) 5G 雲VR成為虛擬現實產業政策熱點方向

虛擬現實已被列入“十三五”信息化規劃、互聯網+、人工 智能、產業結構調整指導等多項國家重大文件中,工信部、發改 委、科技部、文化部、商務部出臺相關政策,5G 雲 VR 正逐漸 成為熱點趨勢之一。2018年 12 月工信部出臺《關於加快推進虛 擬現實產業發展的指導意見》,指出在產業生態方面,要發展端 雲協同的虛擬現實網絡分發和應用服務聚合平臺(Cloud VR), 要推動建立高效、安全的虛擬現實內容與應用支付平臺及分發渠 道。在青島、福州、成都、南昌等地方政府新一輪虛擬現實產業政策中,著重聚焦5G雲 VR 的應用場景並積極推動產業化佈局。 以青島嶗山區為例,在《虛擬現實產業之都發展三年行動計劃(2019-2021 年)》中,聚焦 5G 與虛擬現實產業的融合創新,即 緊抓 5G時代機遇窗口期,以雲化架構為引領,突破業界慣有“展 廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,堅 持走群眾路線,通過 5G雲 VR 實現產業級、網聯式、規模性、 差異化的應用普及之路。

二、技術趨勢

(一) 5G 催化虛擬現實“五橫兩縱”技術架構持續演進

隨著業界對虛擬現實關注程度的不斷提高,VR/AR 在支持 應用和企業數量上迎來了新一輪的增長。在技術層面,由於 VR/AR 行業多領域學科交叉融合的技術特性,整體技術軌跡仍 處於螺旋上升的發展期,現有技術日漸成型,新興技術不斷湧現。 雲化虛擬現實的出現,將雲計算的理念及技術引入到 VR/AR 業 務中,給行業帶來了新的發展機遇。然而,受限於當前帶寬和網 絡時延等網絡條件的約束,其落地應用受限較大。考慮到虛擬現 實業務對 eMBB 場景特性的高度契合,5G 雲化虛擬現實有望加 速 VR/AR 的技術演進和場景落地,極大改變大眾學習、娛樂、 工作與生活方式。

業界對虛擬現實的界定認知由特定終端設備向聯通端管雲 產業鏈條的沉浸體驗演變。參考國際上自動駕駛汽車智能化程度 分級,將虛擬現實技術發展劃分為如下五個階段,不同發展階段 對應相應體驗層次,目前處於部分沉浸期。此外,由於虛擬現實 所固有的多領域交叉複合的發展特性,多種技術交織混雜,產品 定義處於發展初期,技術軌道尚未完全定型。本白皮書參考工信 部有關虛擬現實發展指導意見以及《虛擬(增強)現實白皮書(2018 年)》中提出的“五橫兩縱”技術架構,即“五橫”指代 近眼顯示、感知交互、網絡傳輸、渲染處理與內容製作,“兩縱” 是指VR與 AR,同時結合 2019 年5G商用元年的發展動態,提 出 5G 時代下虛擬現實的技術趨勢。

4G網絡難以實現虛擬現實業務更高程度的視覺沉浸。在雲化牽引的網絡架構下,不斷提升的近眼顯示技術對傳輸帶寬提出 了更高要求。若以角分辨率、視場角、色深、刷新率、焦平面作為衡量視覺沉浸感的主要測度,基於其乘數效應估算可得,完全體驗等級所須未經壓縮的原始帶寬可達 5Tbit/s。此外,對於多焦面顯示技術,當同時聚焦的焦平面達到八個時,其 4K 顯示的承載網絡傳輸帶寬需求高達 26.4Gbps。對於全息顯示技術,由於LCos-SLM 是對全息編碼圖像進行加載顯示,因此,其承載網絡 除須滿足 3.3Gbps 傳輸帶寬要求外,還須對待顯示圖像的光場信 息進行大體量的全息計算,將待顯示圖像的光場信息上傳到雲端 進行全息計算,針對4K的屏幕分辨率,所需的上行網絡帶寬需 要達到 3.3Gbps,針對 120Hz 的顯示刷新率,單獨全息圖的計算 時間需小於 3ms。

內容製作的發展需要 5G 網絡支撐。隨著終端用戶對虛擬現 實內容質量和實時性需求不斷提高,內容製作對超高速網絡的需 求與日俱增,相關技術包括內容採集方向的實時摳像、全景拍攝, 內容編輯方向的雲端三維重建、虛實場景擬合、拼接縫合、空間 計算,內容播放方向的 WebXR。實時摳像主要分為基於綠幕摳 像和基於計算機視覺兩個方向。基於綠幕的實時摳像技術是時延 敏感型業務,雖然綠幕摳像技術發展較為成熟,但受限於當前網 絡環境,在時延和傳輸能力上仍需較大提升;而隨著神經網絡技 術的發展,基於 CNN(卷積神經網絡)實現實時摳像的技術正 在興起,以 Instagram、Snapchat 等移動終端社交軟件為代表,通 過對已有的海量圖片數據進行標記導入卷積神經網絡進行訓練,從而研發出可對動態人像進行實時摳圖的技術,這種技術需要強大運算能力支持CNN進行訓練與分析,考慮到終端設備的侷限性,需要將運算放於雲端進行,減輕終端算力負擔,目前渲染幀率保證在不低於30fps。5G 網絡可以為實時摳像提供更高的渲染幀率,有望在今後提升至60fps甚至 90fps。全景拍攝通常通過一體多目式(非光場式)360°全景相機完成,常見的有 2、4、6、8、16 等多種相機組合類型,如Insta 360 Pro、Nokia 的 OZO 等。此外,基於陣列式(光場式)相機的全景拍攝技術可通過上百個鏡頭組成相機矩陣進行拍攝,生成由兩張具有一定視差的左右全景圖組合的立體全景圖,附帶具有深度信息,成像效果令觀眾更具沉浸感。由於全景拍攝的相機數目較多時,特別是面向全景直播等時延敏感性業務場景,數據計算、傳輸量會急劇增加。

面對全景拍攝帶寬、時延雙敏感的業務特點,5G 網絡可為全景直播提供傳輸保障。適配 5G 網絡的雲端三維重建將採集到的點雲信息上傳雲端,在雲端完成點數據的濾波降噪、分割、配準、網格渲染等處理,構建 3D 模型。將三維重建放在雲端,可極大減輕終端計算壓力,提高三維重建精準度。同時,對雲端重建的模型可結合雲端神經網絡進行深度特徵提取、識別、追蹤等,用於構建雲端三維語義地圖等。虛實場景擬合是指在AR系統中需要將虛擬對象與真實場景進行實時匹配,以保證虛擬對象更加逼真融入現實世界。在虛實融合過程中,一是要達到幾何一致性,保證虛擬對象符合真實世界物理原則;二是要達到時間一致性,保證交互得到及時反饋;三是要達到光照一致性,在幾何與時間一致的前提下,提供實時光照追蹤與渲染。針對為幾何、時間、 光照一致性提供的 GPU集群,5G 網絡有助於承載海量數據實時 傳輸。高性能拼接縫合對多鏡頭拍攝的畫面進行高精度拼接縫合, 通過亮度色彩調整、對齊、畸變喬正、投影到球面等一系列處理, 形成完整的全景視頻。高性能拼接縫合須進行大量計算,通常由 駐留本地的高性能服務器完成。在 5G 網絡支持下,高性能拼接 縫合技術可移到邊緣雲完成,實現高精度畫質的全景直播。 WebXR 技術針對目前硬件終端和內容服務商碎片化的發展現狀, 旨在推動內容生態加速成形,解決跨平臺內容分發問題。2019 年初 W3C 正式發佈了WebXR Device API 首個規範工作草案, 提供開發基於 Web 的沉浸式應用程序。WebXR 處於早期階段, 目前支持的瀏覽器廠商包括 Mozilla 和 Chrome,受支持的設備 包括兼容 ARCore的設備、Google Daydream、HTC Vive、Magic Leap One、微軟 Hololens、Oculus Rift、三星 Gear VR、Windows 混合現實頭戴設備等。5G 技術高帶寬、低時延的特性,將極大 擴展 Web 端內容呈現能力,推動WebXR技術落地。

移動邊緣計算、網絡切片與 5G 核心網 QoS 有助於保證虛擬現實不斷進階沉浸體驗需求。針對虛擬現實對帶寬、時延雙敏 感的業務特性,5G網絡的發展與商用部署需要做出針對性的優化,適配邊緣計算、網絡切片、5G QoS、智能運維、擁塞控制等網絡傳輸技術,旨在彌合潛在技術斷點,推動用戶體驗進階。

其中,邊緣計算藉助網絡邊緣設備一定的計算和存儲能力,實現雲化虛擬現實業務的實時分發,如 VR 視頻直播可以全視角流推送到網絡邊緣,再進行基於單用戶視場角的信息分發。MEC 可根據用戶接入的位置選擇合適的邊緣數據中心提供計算服務,將推送內容同步緩存在本地,實現 CDN 的特性。此外,還可通過5GC 能力開放接口獲取終端的移動性事件通知,實現 VR/AR 業務的移動性和連續性保障。邊緣雲作為基礎設施提供了渲染所須GPU 資源及平臺服務 API,如視頻分析、人臉識別、圖像特徵提取等,以供虛擬現實應用調用,從而降低應用算法複雜度,避免原始數據回傳,節省回傳帶寬。網絡切片為AR/VR提供端到端網絡資源的保障。Network Slice Orchestration 提供了 NSMF,下方不同領域(例如 SDN,MANO,EMS 等)各有相對應 NSSMF。

NSMF負責管理和編排 NSI (Network Slice Instance) 以及根據網絡片相關要求推導網絡片子網相關要求。此外,NSMF 包括跨域切片管理器的功能,該管理器負責 NSI 生命週期管理(即預先提供,實例化,配置和激活以及退役),並通過不同領域內的多維協調滿足 E2E 要求。 NSMF根據每個技術領域的能力分解成多組要求,將每個需求部分映射到相關技術領域。為保證整體端到端的要求,NSMF 彙總了每個技術領域的網絡服務性能,然後執行相應的調整和配置以確保閉環控制。NSSMF 負責 NSSI (Network Slice Subnet Instance) 的管理和協調。NSSMF 包括用於 不同技術域的域片管理器,如接入網絡 NSSMF、核心網絡NSSMF 以及傳輸網絡 NSSMF 或組合域NSSMF。作為邏輯實體, NSSMF 負責在單個技術或組合域中預先提供實例化、配置、激 活以及退役子網。 NSSMF 確保在每個單個或組合域中實現對分 解的 E2E 需求能力的實時保證。VR/AR 端到端的服務依據不同 領域所需提供的配置與設定,由 NSFM 下發至 NSSMF 並實際到 各領域執行,最終實現端到端的服務滿足;不同於 LTE 基於承 載的 QoS 管控,5G QoS 模型基於 QoS 流,5G QoS 模型支持保 障流比特速率(GBR QoS)的 QoS 流和非保障流比特速率(Non-GBR)的 QoS 流,5G QoS 模型還支持反射QoS。在一個 PDU 會話中,QoS 流是可區分 QoS 的最小單位。QoS 流由 QFI 標識。QFI 包含在 N3 的數據包頭中。在用戶平面,同樣QFI的 流得到同樣的轉發處理(例如排隊、許可控制門限)。QoS 流在 PDU 會話建立或修改時建立。5GC 中 SMF負責 QoS 的控制, 建立一條 PDU 會話時,SMF會給 UPF、AN、UE 配置相應的 Qos 參數。對於上行數據,UE 根據 QoS 規則對數據包進行匹配, 數據包從匹配上的 QoS流以及其對應的 AN 通道(對應的 RB) 向上傳輸;對於下行數據,UPF 根據PDR對數據進行匹配,數 據包從匹配上的 QoS 流以及其對應的 AN 通道下下傳輸。如果 一個數據包沒有匹配上任何一個 QoS 規則(上行)或 PDR(下 行),則該數據包會被 UE 或UPF丟棄。這種基於流的 QoS 機制, 對於 VR/AR 這類實時業務,是實現優化用戶體驗的基礎。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

虛擬現實渲染處理對帶寬和時延提出了更高要求。渲染處理是虛擬現實領域的關鍵技術,直接影響內容呈現與用戶體驗效果。 當前移動式虛擬現實終端硬件性能有限,僅能輸出不高於智能手 機圖形處理效果的 3D 模型。為提高虛擬現實終端的圖形處理能 力以及 3D 圖形的顯示效果,可利用5G網絡及雲端渲染優化畫 面質量。雲渲染旨在幫助用戶在中低配頭顯上實現渲染能力更強 的PC級虛擬現實沉浸體驗,降低終端購置成本。對於虛擬現實 這一時延敏感型業務,雲渲染引入的新增時延對於用戶體驗潛在影響較大。此外,3D 應用對於用戶指令的響應高度敏感,如進 行虛擬現實遊戲時,用戶指令須得到及時響應,若稍有時延,容 易引發眩暈感。混合雲渲染旨在解決雲渲染所引入的新增時延以 及編碼壓縮造成的畫質損失,將渲染處理拆分為雲端與本地渲染 協同進行,利用雲端強大的渲染與存儲能力實現靜態畫質與視覺 保真度的提升,同時基於本地渲染滿足時延控制要求。5G 網絡 低時延的特性可有效降低分步渲染產生的新增時延,進一步降低 渲染損失和功耗。由於採用雲端渲染處理、終端交互呈現的技術 架構,雲渲染、混合雲渲染對網絡帶寬、時延、可靠性提出更高 要求,對當前高匯聚、高收斂承載網絡面臨更大挑戰。深度學習 渲染成為人工智能在圖像渲染領域的重要技術創新,可實現圖像 降噪、抗鋸齒以及因注視點渲染帶來的渲染負載減少。深度學習 渲染依賴於雲計算龐大計算能力,在中心雲完成深度學習渲染訓 練,之後將訓練集同步到邊緣雲,並藉助 MEC 降低實時渲染時 延,輸出超高畫質效果。目前,學術界與產業界正在越來越多地 投入深度學習渲染這一新興熱點中。光場渲染是基於圖片集進行 影像渲染,在不需要圖像深度信息或相關性的條件下,通過對相 機採集到的圖像集進行渲染計算。在實時渲染的情況下,光場渲 染比三維模型生成的畫面更加真實。光場渲染須存儲空間中所有 光線的方向和角度,進而渲染出場景中所有表面的反射和陰影, 更大的數據流契合 5G 網絡傳輸特性。

基於 5G 的端雲協同模式觸發虛擬現實感知交互能力躍升。 業界主流移動虛擬現實終端可通過基於傳感融合的 SLAM 技術 實現環境感知、設備定位和地圖三維重構等功能。實時定位技術 日趨成熟,三維重構發展相對緩慢,目前尚難以構建出用於導航、 避障等需求的高精度地圖或用於人機互動的語義地圖,上述場景 有賴於圖像分割、物體識別、高精度表面檢測和三維建模領域的 融合創新。基於 5G 網絡的環境感知可分為初期和成熟兩個階段, 初級階段主要解決現有終端側三維重構的缺失,通過與雲端的低 時延通信實時建立並保存地圖。成熟階段須在雲端建立完整的語 義地圖,各終端能夠實時感知自身定位、獲取地圖信息並完成交 互。具言之,5G 對感知交互能力的提升主要表現在機器視覺、 雲端神經網絡和雲端語義地圖三方面。機器視覺基於深度學習的 語義分割開始在識別重建中頻繁採用,準確獲取圖像中的物體類 屬及對應的邊緣 Mask與 Mesh 信息,成為未來有針對性進行重 建的必要步驟。2019 年 6 月蘋果發佈ARKit3套件,展示了全新 人體遮擋效果,通過基於機器視覺的實時肢體姿態捕捉,將真實 人體、虛擬場景與真實環境相互融合。目前,此類融合基於本地 完成,隨著終端對現實世界理解的不斷深入,需要速度更快、算 力更強的神經網絡進行識別、分割、跟蹤、匹配等複雜任務處理, 基於 5G 的雲端處理方式有助於放大機器視覺對環境感知作用, 以更低時延完成實時空間感知與語義標記。雲端神經網絡可以同 時為多種不同的交互模態提供神經網絡運算,如同時處理語音交 互與手勢交互。由於雲端神經網絡藉助超大型 CPU 與GPU集群 進行運算,可處理更加複雜的業務,如自然語言識別等。5G 網 絡可降低多類自然交互產生的疊加時延,降低運算處理和交互耗 時。同時,基於 5G 雲端架構,經過訓練的神經網絡可以部署到 邊緣雲,在面對異地多人多端實時交互的虛擬現實系統時,以更 低時延處理大量交互反饋信息。此外,雲端神經網絡可以與空間 計算相結合,在 5G網絡下提供更加貼合物理世界的虛擬信息和 渲染效果,並對交互信息進行分析和預判,提升物理世界中虛擬 信息的交互體驗。雲端語義地圖把獲取的點雲特徵與雲端預先準 備好的數據庫進行比對,通過具體的語義特徵對點雲地圖進行標 記,達到輔助理解。5G 網絡為雲端語義地圖提供算力更強的雲 端大型 GPU 集群及高速帶寬網絡,基於 5G 雲端的語義地圖, 能更好的結合神經網絡,構建廣域地圖信息,將物理世界進行數 字重建和標記,同時對 AR 雲的搭建提供了極大的技術支持。

5G雲化虛擬現實白皮書

(二) 5G 雲化虛擬現實技術有望在2-5年內逐步成熟

借鑑 Gartner 技術成熟度曲線呈現形式,分析總結如下與 5G 顯著關聯的各類虛擬現實技術產業化進程。5G+虛擬現實的技術 創新大多分佈於穩步爬升光明期、泡沫化低谷期和過高期望峰值 期,預計在兩年內發展成熟的技術以近眼顯示、網絡傳輸領域為 主,佔比約為三分之一。在二至五年內發展至主流階段的技術佔 比接近一半,集中於在雲端進行的面向複雜環境、場景與內容的 渲染計算;有望在5-10年內發展為主流的技術將深入至雲端神 經網絡計算,為場景和應用提供複雜的空間識別算力、高保真渲染效果及虛實融合的交互能力,進而為5G環境下的虛擬現實內容提供更加優質的用戶體驗;面向10年以上成熟的技術目前主 要有光場顯示和混合渲染,在網絡傳輸能力和雲端計算能力發展 到較高程度下,有望為用戶提供完全沉浸體驗。

5G雲化虛擬現實白皮書

在 5G+虛擬現實融合創新方面,受影視行業及機器視覺技術 的快速發展,實時摳像已日趨成熟,5G 雲化將加快這一技術落地,預估 2 年內發展至成熟階段。高性能拼接縫合是時延、帶寬雙敏感型業務,產業化相對較快,預估在 2 年內發展成熟。雲化三維重建藉助雲計算帶來高精度三維重建效果,降低了終端計算負載,目前尚須跨領域技術整合,預計3-5年發展成熟。基於 5G雲化的虛實場景擬合有望促使融合效果出現質變,預估 2-5 年發展成熟。一體多目式(非光場式)全景拍攝發展較快,在 5G 網絡幫助下設備成本和體積將會向小型輕便發展,發展至成熟預估需要2-3年時間。陣列式(光場式)全景拍攝長期受光學和底層圖像處理能力的限制,在 5G 雲端 GPU 集群的助力下有望出現顯著改觀,預估需2-5年時間發展成熟。WebXR 目前仍處於初級階段,但由於本身基於 Web 技術構建,5G 網絡將加快其迭代和落地,2019 年初 WebXR 剛發佈API 1.0 版草案,發展成熟仍有 5-10 年時間。依據 3GPP 標準制定進度,5G R15 確定了 5G的基本架構,包括新的空口、非獨立(NSA)/獨立(SA)組網網絡架構、雲化核心網、核心網網絡切片等基本技術,實現小區下行峰值速率10Gbps、空口時延 1ms 的目標,該標準自2018年底開始在全球逐步建設,邊緣計算設備也將隨著 5G 網絡的建設開始部署,支持 5G 雲化虛擬現實應用。而 5G R16 所支持的行業應用技術,包括端到端(包含無線網絡)網絡切片、高可靠性等技術,將隨著標準的完成在未來 2-5 年內逐步部署。5G R17於2019年開始確定研究課題,現階段的重點為加入人工智能/機器學習的能力,實現網絡運維的自動化等功能,因此部署的時間還將更晚。預計從 2025 年開始,5G 將進入B5G/6G 時代,開始B5G 和6G的技術研究和部署。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、計算技術、大數據和人工智能技術實現網絡的完全智能和自動化,並實現下行峰值速率大於 100Gbps的目標。6G 的標準化預計要到2028年以後才能形成,正式商用則預計在 2030 年以後。在傳輸預處理方面,目前虛擬現實視頻編碼仍主要使用 HEVC,H.265 已成為主流技術。5G 對視頻編碼技術提出了更高的要求,下一代視頻編碼標準 H.266 在 2018年4月正式開始標準化工作,將於 2020 年發佈標準,預計於 5-10 年可以成為新的主流技術。混合渲染對雲渲染技術有一定依賴性, 屬於在雲渲染基礎上對畫質、時延和功耗的優化,發展至成熟仍 需 2-5 年。深度學習渲染須採集大量圖形渲染數據進行訓練,該 技術在學界和業界仍處於研討期,短期內難以商用落地,預估成 熟期在 5-10年。作為面向未來的渲染技術,光場渲染的處理、 優化、傳輸尚處於基礎技術研發階段,預估成熟期在10年以上。 機器視覺需要依賴神經網絡提供計算與分析,5G 雲化將提供 GPU 和CPU集群,加快訓練速度,預期到達技術成熟需 3 至 5 年時間。雲端神經網絡和雲端語義地圖,將為物理世界的數字化 構建提供更加精確的建圖能力和定位能力,需藉助後 5G 時代雲 化提供的高算力和高承載能力,預估發展至成熟期需 5 至 10 年。

(三) 5G 助推虛擬現實體驗性、功能性與經濟性的優化提升

相比本地虛擬現實、4G 雲化虛擬現實技術路線,5G 雲化虛擬現實技術性能、功能、成本等方面改善顯著,可歸納為頭動響 應時延(MTP)、渲染能力、顯示能力、使用移動性、顯示能力 市場規模、成本效率。其中,業界普遍認為頭動響應時延(MTP) 應控制在20ms以內,否則容易引起眩暈感。換言之,用戶轉動 頭部改變視角時,終端設備、網絡傳輸、雲端計算的整體用時應 確保頭動和 FOV畫面改變一致,相應新視角所呈現畫面的累計 時延不超過 20ms,也不應出現全部或部分視野無畫面的情況。 依靠終端的本地處理,由於無須考慮網絡時延,領先的設備廠商 如 Oculus 和 HTC Vive 可以做到 20ms內 MTP,但其代價在於犧 牲了移動雲 VR 在終端價格、端雲協作等方面的潛在價值。在 4G 網絡下,通過採用 4G 雲+小型 GPU 的方式,將渲染和視覺計算 放在雲端進行,降低了終端處理壓力的同時,引入了額外的網絡 時延,典型的 4G 空口時延在 10ms-28ms之間。在 5G 網絡下, 由於高帶寬、低時延的網絡特性,5G 網絡把空口時延降低到 1ms, 通過採用 5G+GPU 雲端集群的方式,可將時延控制在10ms以內, 針對高端設備和峰值網絡狀態,有可能達到 7ms-5ms,即 5G 為 虛擬現實在端雲協同與 MTP時延控制間帶來了更大的平衡空間; 對於渲染分辨率、幀率所表徵的渲染能力,在本地進行的渲染, 受限於終端 GPU計算能力,分辨率僅可達到 2K-4K,幀率在 30fps-60fps。在 4G網絡下,通過採用 4G 和雲端渲染,渲染能 力平均可以達到 4K 分辨率、90fps 的效果。在5G網絡下,有望 將渲染能力進一步提升至 8K 分辨率、120fps 效果,整體畫質達到本地處理能力兩倍以上;對於角分辨率、刷新率、視場角所表徵的近眼顯示能力,雖然該類性能指標依賴於光學、屏幕等終端技術,但在虛擬現實端雲協同的發展趨勢下,相比4G網絡,5G 可進一步支持廣視場角顯示(4G:FOV 100°,5G:FOV 140° 及以上)、高刷新率顯示(4G:60Hz-90Hz,5G:120Hz 及以上)、 高分辨率顯示(4G:15-20PPD,5G:30PPD 及以上);對於用 戶移動性而言,在初步解決了 VR 終端有繩化的問題後,5G 可以解決本地以及 4G 雲 VR/AR 所面臨的場景受限問題,通過在高速移動場景中保證100Mbps以上的用戶體驗帶寬,將時下各類虛擬現實應用拓展至車載、高鐵等高速移動應用場景,保證了全場景的服務能力和必要的業務連續性;對於市場潛力和費效比等經濟性因素而言,作為新一代人機交互平臺,虛擬現實在單機版階段的市場發展較為緩慢,應用場景與用戶體驗受限於本地終端。參考梅特卡夫定律以及2017-2022年全球虛擬現實產業規模,相比孤島式單機版的發展之路,虛擬現實的市場潛力有賴於虛擬世界潛藏的網絡價值,比之4G時代,5G 雲化虛擬現實強調用戶連接交互深度(沉浸體驗)而非連接廣度(聯網數量)。此外,在本地VR/AR階段,由於不涉及網絡支持,虛擬現實藉助網絡對單位生產力的貢獻較低。據諾基亞貝爾測算,通過4G網絡傳輸及雲端 GPU 運算處理,其對生產力貢獻的能力約為僅憑藉本地終端貢獻能力的十倍。在 5G 網絡階段,通過 5G 傳輸及雲端GPU 集群運算處理,其對生產力貢獻的能力約為 4G 網絡階段的十倍。

(四) 5G 標準規範演進牽引虛擬現實體驗進階

針對業務需求的實際差異,5G 虛擬現實主要呈現為兩類雲 化部署形態。隨著 5G 網絡對大帶寬、低時延的支持,將部分渲 染、視頻處理的功能轉移到雲端服務器處理,使得采用雲端服務 器和虛擬現實終端的連接成為可能。同時,5G 雲化虛擬現實的 實現方式有助於減少終端處理能力要求,降低頭顯體積與功耗, 且配戴設置更加便捷。目前, 5G 網絡上與虛擬現實業務相關的 服務器存在兩類雲化部署方式,一是將服務器部署在 5G 的核心網絡側的應用服務器上或中央數據中心,二是將其部署在邊緣計 算或接入側數據中心上。兩類方案對虛擬現實的影響聚焦於時延 控制,若部署在接入側數據中心,即意味著更低時延,對時延敏 感型的虛擬現實業務用戶體驗更好,但對於諸如遠程教育等全網 範圍的虛擬現實應用,採用中央數據中心成為常規方案。

隨著 5G 標準從 R15、R16、R17 向 B5G/6G 不斷演進,新 一代移動通信與虛擬現實互相促進,有望實現基於 5G 雲化虛擬 現實技術下的深度沉浸乃至完全沉浸的體驗需求。從 5G 標準制 定看,業界認為 5G網絡演進主要分為三個階段,即 5G、5G 增 強(包括 R16、R17...)和 B5G(Beyond5G)/6G。從R16開始, 5G 進入 5G 增強階段,其中,R16 已確定針對企業應用增強(如 工業互聯網),提出 5G 私網、達到99.9999%的高可靠性要求, 並實現包括無線網絡在內端到端的切片能力,預計 2020 年 3 月 完成標準制定。R17 將支持 52.6 GHz 以上頻譜,加入人工智能/ 機器學習的能力,實現網絡運維的自動化等功能,預計將於2021年底完成標準制定。預計從 2025 年開始,5G 將進入B5G/6G時 代。根據諾基亞貝爾實驗室的預測,B5G/6G 將利用信息技術、 計算技術、大數據和人工智能技術實現網絡的完全智能和自動化, 並實現下行峰值速率大於 100Gbps的目標。針對虛擬現實對 5G 網絡傳輸的實際需求,總結如下 5G 雲化虛擬現實融合創新技術 發展路徑。

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

5G雲化虛擬現實白皮書

三、5G 雲化虛擬現實應用場景

(一) 5G 雲化虛擬現實+教育

5G雲化虛擬現實技術構建異地、多人、多端的全息教學場。 通過傳統教育中的“教學練”與全息的“人物場”深度結合,打 破時空限制,營造虛實相融的教學環境,衍生出豐富多元的教學 應用。5G+MR 全息教室是 5G 雲化虛擬現實教育的典型場景, 可實現三大功能:一是異地多人加入,異地師生可即時加入課堂, 無人數上限;二是多人同時交互,針對教學環境中的所有內容(包 括人、物、場)進行交互,同步反饋,直觀高效;三是多端無縫 銜接,無論當下終端是智能眼鏡、手機或 PC,皆可實時連接, 且內容呈現和交互協作無縫銜接。考慮到 MR 混合現實對網絡帶 寬和時延的雙敏感性,5G+MR 全息教室接入高速率、低時延的 5G 網絡,並引入邊緣計算和切片網絡,實現雲端渲染,為教學 提供優秀的顯示畫質和更低的渲染時延。5G 的超大帶寬、超低 時延及超強移動性可確保整個全息教學系統的沉浸體驗效果。基 於 5G+MR 全息教室的教學系統可改變傳統教學模式,通過虛實 結合的全新教學方式輔助課堂教學,營造場景化教學新體驗。

伴隨 5G 技術的發展,異地多人的教學模式可能成為未來主流。2019 年 6月,首個 5G+MR 教室在上海徐匯中學落成,並通 過 5G 和 MR 混合現實教學系統,順利與遠在雲南的紅河州雲陽 中學實現異地雙向同步教學。同時,青島萃英中學、上海建平中 學等多地重點中學將先後落成 5G+MR 教室,幫助異地師生更好 的交流、探索和學習,用新一代信息技術推動教育公平化進程。

(二) 5G 雲化虛擬現實+演唱會

5G雲化虛擬現實技術創造演唱會全新視覺體驗。5G 雲化虛 擬現實技術在演唱會中的應用主要有基於 VR 的高清全景演唱會 直播,以及 MR/AR 形式演唱會。

VR演唱會全景直播:VR 全景直播採用多機位全景視角進 行拍攝,一方面可以提供更多觀看角度,另一方面針對單一觀看 點提供 360°x 180°全視角效果,極大提升演唱會觀看體驗。基 於 5G雲化的 VR 全景直播技術,憑藉 5G 超高帶寬、CDN和邊緣雲 MEC 技術,可更好的滿足傳輸帶寬和拼接算力的需求,提 供更具沉浸感的全景直播體驗。在演唱會現場,通過全景拍攝設 備(如諾基亞 OZO 全景相機),可從多個拍攝點進行實時全景影 像取景,並通過 5G 網絡傳輸至邊緣雲。在邊緣雲上藉助高性能 拼接縫合技術對視頻流進行處理,將拍攝畫面進行拼接和優化, 並實時傳輸給場內的終端進行現場互動,同時還可通過5G網絡 低時延傳輸給場外的遠端用戶進行直播互動。5G 可以實現 4K/8K 的VR直播效果,並將平均時延控制在 10ms。對於終端 用戶,5G 網絡支持觀看視點流暢平滑的無縫切換,保證直播時 音畫同步。

MR/AR演唱會:藉助 5G 網絡下端到端網絡切片的 SLA/QoS 保障,以及實時虛實場景擬合和高性能拼接技術,MR/AR 全息演唱會可提供強交互、多場景的全息沉浸體驗。在5G 網絡環境下,通過網絡切片和 MEC 技術完成雲渲染和虛實場景擬合,現場觀眾可佩戴 MR/AR 眼鏡觀看融入全息特效的演唱會,並在歌手、觀眾、全息數字特效間形成多維互動,營造豐富 的現場效果。

(三) 5G 雲化虛擬現實+工業

5G雲化虛擬現實技術深度融合物聯網技術,推動關鍵業務 降本增效。藉助 5G 網絡將雲化虛擬現實技術與企業 ERP 系統及 IoT 物聯網系統對接,圍繞工業中的剛需場景,構建新型智慧工 業,服務於業務更精細化、要求更高的遠程協助、實時操作指引、 日常巡檢、生產動態展示、員工培訓等關鍵業務。

產品展示: AR 眼鏡通過 5G 網絡可提供基於雲渲染的全息 虛擬產品形態,以及全息的操作內容輔助,極大提高操作人員信 息接收效率,進而提高工作效率。

日常巡檢:藉助 5G 網絡 MEC 功能可對廠區進行三維重建, 構建基於智能眼鏡的全息 BIM系統,並可隨時調取查看各區域 產線生產信息。5G 雲化技術提供的雲端語義地圖可直接獲取設 備實時運轉數據,並通過全息信息交互遠程操控動態調配產能。

操作指引:藉助 5G 雲化虛擬現實技術中邊緣雲 MEC 和中 心雲神經網絡計算,對操作對象和環境進行實時掃描與智能標記, 提供操作流程 3D 指引,並通過 IoT 提供實時操作反饋。

遠程協助:通過 5G 雲化虛擬現實技術,將操作環境和對象 在遠端專家面前模擬還原。通過雙向全息呈像,專家可在模擬的 全息環境中進行操作並將過程同步回傳至操作現場,真實還原專家“手把手”協助指導。

(四) 5G 雲化虛擬現實+醫療

5G雲化虛擬現實技術推動救治模式革新,助力醫療資源公 平化進程。在 5G 網絡下,VR/AR 醫療應用時延將降至10ms內, 實現從教學培訓和輔助康復延展到時效性更強的救治和診療中, 極大拓寬醫療領域應用場景。

遠程救治:憑藉 5G 超低時延的特性,一線搶救人員可通過 智能終端實時拍攝記錄傷員創傷情況,並在第一時間以 VR 直播 形式傳回救治中心。遠端醫生可對創傷進行實時 3D 標註,併發 送救治操作方法給一線搶救人員。由於 5G 時延極低,醫院瞭解 到的患者體徵數據與一線同步,保證救治手段及時準確。

智能會診:通過 5G 雲化虛擬現實技術建立的異地多人通訊, 病例與救治方案可以 3D 形式呈現在醫生與患者雙方/多方面前, 並藉助雲端神經網絡集群,對患者病情走勢進行分析和預判,提 供有精準有效的治療方案。

5G雲化虛擬現實技術幫助醫療行業提高救治效率,減少由時延帶來的不必要病痛。同時通過多端全息會診可推動醫療資源公平化和均衡化發展,服務更多偏遠地區患者。

(五) 5G 雲化虛擬現實+遊戲

5G雲化虛擬現實技術打造全新互動遊戲視覺與交互體驗。 5G 連接的雲端 GPU 集群將極大提高遊戲渲染能力,提升多人互 動遊戲的沉浸體驗。

VR/AR遊戲的實時渲染和媒體處理所需的 GPU 龐大算力將 由 MEC 邊緣雲完成,就近完成渲染處理和效果下發,最大限度 降低大量圖像數據傳輸造成的時延。VR/AR 終端僅需從 MEC 接 收渲染效果並進行基礎解碼、處理、呈現,間接減小了對終端體 積和性能的要求。用戶可通過更廉價、輕便的終端連接5G網絡, 享受互動感和沉浸感兼具的雲端遊戲。

四、發展建議

把握住虛擬現實技術創新與 5G 帶來產業變革的窗口期,發 揮虛擬現實帶動效應強的特點,以技術創新為支撐,以應用示範 為突破,以產業融合為主線,豐富虛擬現實商業模式,整合虛擬 現實產業鏈資源,構築“5G 雲 VR+”融通發展生態圈。

強化 5G 雲化虛擬現實技術預研與趨勢預判,提高創新資源 利用率。支持電信運營商、終端企業、內容廠商、高校院所在內 的產學研主體聯合組建 5G 雲 VR 創新中心與實驗室,開展針對5G+VR的端到端解決方案研究,打通“端管雲”產業鏈條;圍 繞內容上雲、渲染上雲乃至製作上雲等重點融合領域,加大研發 投入,深化知識產權儲備,跟蹤技術產業化發展進程;堅持規模 應用導向與技術斷點彌合的研發思路,提高創新資源利用效率與 產出水平,由傳統強調虛擬現實技術層面的創新性和價值點,轉 變為更加看重技術產業化的落地價值,推動各類創新要素在產學 研用間的聚焦、流動與增值。

開展 5G 雲 VR規模化應用試點,探索可商業落地的解決方案。在 5G 時代與雲化架構的引領下,降低優質內容的獲取難度和硬件成本,保護虛擬現實內容版權,突破業界慣有“展廳級”、“孤島式”、“小眾性”、“雷同化”的應用示範發展瓶頸,在工業互聯網、田園綜合體等實體經濟特色領域中,深化“虛擬現實+” 行業應用的探索融合,實現產業級、網聯式、規模性、差異化的應用普及之路;在文旅、教育、醫療等具備業務變現能力、政府帶頭示範效應顯著、方案相對成熟優良的細分應用領域,落地一 批應用示範,如“5G 雲 VR 進小區”等試點工程,發揮龍頭帶 動作用。

推動 5G 雲 VR扶持政策制定。5G 雲 VR 扶持政策將打破傳 統彼此封閉、煙囪式的產業發展框架,對產業鏈進行網狀重構, 幫助虛擬現實深度導入信息通信產業生態圈。推動 5G 雲 VR 扶 持政策制定,鼓勵平臺生態與產業協作,提高財稅政策利用效率, 實現由政策輸血向政策造血的轉變;為電信運營商與虛擬現實關 鍵器件廠商、終端企業、內容聚合分發平臺、解決方案提供商間 的協同創新提供專項資金支持及公共服務平臺,鼓勵探索商業模 式、網絡架構、內容應用的創新變革,推動單點突破向產業集聚 的轉變。

溫馨提示:如需原文檔,可在PC端登陸未來智庫www.vzkoo.com搜索下載本報告。

關注公眾號“未來智庫”,及時獲取最新內容。

(報告來源:諾基亞貝爾股份有限公司、中國信息通信研究院等)


"

相關推薦

推薦中...