'被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?'

"
文 | 傅一平 源 | 與數據同行

5G時代將是全新的時代,那麼5G對於大數據會有什麼獨特的影響呢?今天就特別來談一談。

一、數據量將會急劇膨脹

5G通過提升連接速率(相對於4G提升100倍)和降低時延(ms級),在單位時間內創造的數據量將幾何級的增加,比如從計費話單的角度看,如果維持50M一條記錄的存儲模式,則計費話單條數在單位時間內會提升100倍。

"
文 | 傅一平 源 | 與數據同行

5G時代將是全新的時代,那麼5G對於大數據會有什麼獨特的影響呢?今天就特別來談一談。

一、數據量將會急劇膨脹

5G通過提升連接速率(相對於4G提升100倍)和降低時延(ms級),在單位時間內創造的數據量將幾何級的增加,比如從計費話單的角度看,如果維持50M一條記錄的存儲模式,則計費話單條數在單位時間內會提升100倍。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

5G使得單位面積的聯網設備數量可以達到4G的100倍,海量物聯網的感知層將產生海量的數據,這都將極大的驅動數據量的增長,而物聯網也刺激了大數據的發展,所有通信基礎設施的強大,都在為大數據崛起鋪平道路。

在可預見的未來,全球數據量將以每兩年翻一番的速度增長。到2020年,全球的數據量將到達40ZB。這也就意味著,地球上每個人在每秒鐘就將利用1.7MB的數據量。

二、數據的維度進一步豐富

從連接的類型看,目前的數據還是以人和人的關聯為主,5G時代帶來的物聯網發展,使得人和物、物和物之間的連接產生的數據類型將會更多,比如物聯網使得數據採集的渠道爆發性增長,無論是聯網汽車、可穿戴設備、智能電視、無人機還是機器人等等。

從連接的內容看,5G催生的車聯網、智能製造、智慧能源、無線醫療、無線家庭娛樂、無人機等新型應用將創造新的豐富的數據維度,AR、VR、視頻等非結構化數據的比例也將進一步提升。

"
文 | 傅一平 源 | 與數據同行

5G時代將是全新的時代,那麼5G對於大數據會有什麼獨特的影響呢?今天就特別來談一談。

一、數據量將會急劇膨脹

5G通過提升連接速率(相對於4G提升100倍)和降低時延(ms級),在單位時間內創造的數據量將幾何級的增加,比如從計費話單的角度看,如果維持50M一條記錄的存儲模式,則計費話單條數在單位時間內會提升100倍。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

5G使得單位面積的聯網設備數量可以達到4G的100倍,海量物聯網的感知層將產生海量的數據,這都將極大的驅動數據量的增長,而物聯網也刺激了大數據的發展,所有通信基礎設施的強大,都在為大數據崛起鋪平道路。

在可預見的未來,全球數據量將以每兩年翻一番的速度增長。到2020年,全球的數據量將到達40ZB。這也就意味著,地球上每個人在每秒鐘就將利用1.7MB的數據量。

二、數據的維度進一步豐富

從連接的類型看,目前的數據還是以人和人的關聯為主,5G時代帶來的物聯網發展,使得人和物、物和物之間的連接產生的數據類型將會更多,比如物聯網使得數據採集的渠道爆發性增長,無論是聯網汽車、可穿戴設備、智能電視、無人機還是機器人等等。

從連接的內容看,5G催生的車聯網、智能製造、智慧能源、無線醫療、無線家庭娛樂、無人機等新型應用將創造新的豐富的數據維度,AR、VR、視頻等非結構化數據的比例也將進一步提升。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

三、平臺的要求大幅提升

5G時代隨著數據體量、種類和形式的爆發增長,物聯網、人工智能等領域的創新應用將井噴式湧現,很難有哪一種單一的計算平臺可以有效應對如此複雜、多樣、海量的數據採集、處理的挑戰,混搭式的大數據處理平臺的發展趨勢越加明顯。

海量、低時延、非結構化的數據特點將進一步促進數據處理和分析技術的進步,推動流式處理技術的發展將會是一個明顯的變化,以浙江移動為例,即使是當前,如果不對海量的非結構化上網日誌數據進行流式預處理,對離線存儲的數據進行再處理成本就會很高。

5G時代邊緣計算崛起,邊緣計算旨在將大量的數據分析功能下沉到更靠近應用的地方,從而提升響應速度,降低網絡和雲計算的成本,數據分析的本地化是否將形成另一種形式的數據集市?符合邊緣計算要求的數據平臺是否會崛起?

"
文 | 傅一平 源 | 與數據同行

5G時代將是全新的時代,那麼5G對於大數據會有什麼獨特的影響呢?今天就特別來談一談。

一、數據量將會急劇膨脹

5G通過提升連接速率(相對於4G提升100倍)和降低時延(ms級),在單位時間內創造的數據量將幾何級的增加,比如從計費話單的角度看,如果維持50M一條記錄的存儲模式,則計費話單條數在單位時間內會提升100倍。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

5G使得單位面積的聯網設備數量可以達到4G的100倍,海量物聯網的感知層將產生海量的數據,這都將極大的驅動數據量的增長,而物聯網也刺激了大數據的發展,所有通信基礎設施的強大,都在為大數據崛起鋪平道路。

在可預見的未來,全球數據量將以每兩年翻一番的速度增長。到2020年,全球的數據量將到達40ZB。這也就意味著,地球上每個人在每秒鐘就將利用1.7MB的數據量。

二、數據的維度進一步豐富

從連接的類型看,目前的數據還是以人和人的關聯為主,5G時代帶來的物聯網發展,使得人和物、物和物之間的連接產生的數據類型將會更多,比如物聯網使得數據採集的渠道爆發性增長,無論是聯網汽車、可穿戴設備、智能電視、無人機還是機器人等等。

從連接的內容看,5G催生的車聯網、智能製造、智慧能源、無線醫療、無線家庭娛樂、無人機等新型應用將創造新的豐富的數據維度,AR、VR、視頻等非結構化數據的比例也將進一步提升。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

三、平臺的要求大幅提升

5G時代隨著數據體量、種類和形式的爆發增長,物聯網、人工智能等領域的創新應用將井噴式湧現,很難有哪一種單一的計算平臺可以有效應對如此複雜、多樣、海量的數據採集、處理的挑戰,混搭式的大數據處理平臺的發展趨勢越加明顯。

海量、低時延、非結構化的數據特點將進一步促進數據處理和分析技術的進步,推動流式處理技術的發展將會是一個明顯的變化,以浙江移動為例,即使是當前,如果不對海量的非結構化上網日誌數據進行流式預處理,對離線存儲的數據進行再處理成本就會很高。

5G時代邊緣計算崛起,邊緣計算旨在將大量的數據分析功能下沉到更靠近應用的地方,從而提升響應速度,降低網絡和雲計算的成本,數據分析的本地化是否將形成另一種形式的數據集市?符合邊緣計算要求的數據平臺是否會崛起?

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

四、AI的賦能將無處不在

從數據的角度講,非結構化數據的海量增長,使得大數據的價值密度進一步降低,要能從海量複雜數據中發掘數據間的弱關聯關係,對於人工智能的能力要求進一步加大。

從應用的角度講,AR、VR、圖像與視頻識別、車聯網駕駛行為分析、智慧交通群體模式識別等5G時代的大量物聯網應用,都需要通過人工智能等手段,從海量數據中快速“學習和提煉”出高價值信息與策略,以此控制IoT終端與邊緣設備完成最終的閉環。

從架構的角度講,為了滿足不同業務需求部署的各種物聯網終端、豐富的切片網絡、大量下沉的邊緣節點,這些資源的高效運作都需要人工智能的廣泛支持。

從運維的角度看,承載數以十萬到百萬計的資源節點、網元實例、業務應用實例的5G雲數據中心,要保障如此龐大複雜的資源與業務體系的可持續無間斷運行,引入人工智能輔助的主動式預測性維護也勢在必行。

五、大數據應用被催化

當前的大量APP應用從雲端接收的數據都是控制數據、小數據或非實時大數據,網絡的瓶頸限制了大數據應用價值的發揮.

5G時代,藉助於5G的高帶寬、低時延和AI能力,大數據所承載的業務形式更加複雜多樣,其商業價值將得到快速挖掘。比如VR,其可以在雲端快速完成圖像數據的渲染,通過可靠的高速網絡實時返回給終端,使得業務獲取性提升,體驗提升。

在華為發佈的《5G時代十大應用場景白皮書》中,每項垂直行業應用都與大數據有千絲萬縷的關係,包括AR/VR的實時計算機圖像渲染和建模、車聯網的遠程駕駛、編隊行駛和自動駕駛、智能控制的無線機器人云端控制、智慧能源的饋線自動化、無線醫療的遠程診斷、無線家庭娛樂的超高清8K視頻和雲遊戲、聯網無人機的專業巡檢和安防、社交網絡的超高清/全景直播、個人AI輔助的智能頭盔、智慧城市的AI視頻監控。

六、運營商的大數據挑戰

1、網絡大數據的管理難度加大

5G採用了大規模天線系統和超密集組網技術,並將引入頻譜共享、D2D等複雜的無線傳輸技術,與此前移動網絡技術相比,整體網絡架構也更加靈活,功能更加豐富,業務趨向多樣化,網絡數據的獲取和處理成為5G網絡的一大挑戰.

5G網絡要與4G等多張網絡的同時運行,其數據的維度高、數據類型多、數據量大、缺失數據多、不同設備廠家數據格式不統一等,這使得無線網絡數據的管理挑戰巨大,因為即便在4G時代,相對於B域,DPI數據的統一管理就是運營商一直要解決的難點問題。

基於B域數據管理的經驗,建議首先要形成統一數據標準,涵蓋數據格式、參數定義、計算方式等多個方面,降低數據處理的複雜度;其次是提取高價值數據,減少數據存儲和計算所需的硬件資源;再次是需要採用高效的自動化數據管理手段,最後則是數據安全的保障。

考慮到5G時代網絡切片等能力的增加使得“網絡即業務”成為可能,其與前端市場的距離變得更近,因此,進一步加強O域與B域數據的整合迫切性會非常高,5G的網絡體驗提升必須協同業務才能形成真正的端到端。

2、大數據平臺的價值進一步凸顯

5G時代網絡的定位出現了變化,正如鄔賀銓院士說的一樣,"5G網絡應是以用戶為中心、上下文感知與先應式網絡。"

鄔賀銓表示,"5G本身是終端到數據中心的一個主要通道,前部分數據採集,中間環節是到基站和無線接入網,是有邊緣計算緩存和計算能力的。然後再到核心網,是數據傳送,再到數據中心、雲計算,它是數據分析。智能終端多功能的特性,它跟這個網絡裡頭數百個路由器、服務器,以及交換機它們之間是有很多交互的。所以5G網絡不僅要承載移動用戶的數據,還要接受各種不同後臺服務器、緩存等產生的數據。"

"5G的數據分析在兩個地方得以體現鄔賀銓指出,首先在移動運營商核心站點內的大數據平臺上進行數據分析,按照內容預測算法執行計算並推斷決策內容,然後主動地將他們存儲在具有緩存能力的基站中,從而將內容從雲移動到邊緣(基站);然後,基站負責收集上下文信息,對用戶空間-時間行為進行分析與預測,對數據集合、壓縮與加密,同時從核心網大數據平臺獲得決策,具有緩存能力的基站使得內容靠近用戶,從而改進用戶體驗並減輕回傳網的負載。"

總體上,5G時代,運營商大數據平臺需要在複雜全域(O+B+M)數據的統一處理、低價值密度數據的高效存儲、網絡非結構化數據的快速解析、全域數據的高效整合等方面進行大幅提升。

3、新的商業模式要求新的分析能力

陳志剛在《重磅雄文| 5G的基本商業模式,看此文就夠了 》一文中做過5G基本商業模式的分析,其表示:

“我認為有三種基本的商業模式:基於流量的商業模式、基於切片的商業模式、基於平臺的商業模式。這三種基本商業模式,並不是適合所有運營商,尤其是基於平臺的商業模式,只適合定位於數字化戰略的運營商。”

Gartener的研究報告指出,5G的最大收入潛力將是網絡切片開發。在切片商業模式中,電信運營商的關鍵業務是向各個垂直行業銷售各種邏輯網絡,即行業切片。

按照業內的觀點,5G切片應該具備可定製、可交付、可測量、可計費四大特性,GSMA在2017年的一份報告中指出:構成通信服務的所有組件(比如,通信帶寬、專用處理能力、數據採集、安全模型等)都可以由5G網絡切片的管理系統進行更改和配置。

基於切片,5G網絡可以根據不同的場景要求提供差異化的定價策略,包括基於地點、時間、速率、服務的多維組合定價。

"
文 | 傅一平 源 | 與數據同行

5G時代將是全新的時代,那麼5G對於大數據會有什麼獨特的影響呢?今天就特別來談一談。

一、數據量將會急劇膨脹

5G通過提升連接速率(相對於4G提升100倍)和降低時延(ms級),在單位時間內創造的數據量將幾何級的增加,比如從計費話單的角度看,如果維持50M一條記錄的存儲模式,則計費話單條數在單位時間內會提升100倍。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

5G使得單位面積的聯網設備數量可以達到4G的100倍,海量物聯網的感知層將產生海量的數據,這都將極大的驅動數據量的增長,而物聯網也刺激了大數據的發展,所有通信基礎設施的強大,都在為大數據崛起鋪平道路。

在可預見的未來,全球數據量將以每兩年翻一番的速度增長。到2020年,全球的數據量將到達40ZB。這也就意味著,地球上每個人在每秒鐘就將利用1.7MB的數據量。

二、數據的維度進一步豐富

從連接的類型看,目前的數據還是以人和人的關聯為主,5G時代帶來的物聯網發展,使得人和物、物和物之間的連接產生的數據類型將會更多,比如物聯網使得數據採集的渠道爆發性增長,無論是聯網汽車、可穿戴設備、智能電視、無人機還是機器人等等。

從連接的內容看,5G催生的車聯網、智能製造、智慧能源、無線醫療、無線家庭娛樂、無人機等新型應用將創造新的豐富的數據維度,AR、VR、視頻等非結構化數據的比例也將進一步提升。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

三、平臺的要求大幅提升

5G時代隨著數據體量、種類和形式的爆發增長,物聯網、人工智能等領域的創新應用將井噴式湧現,很難有哪一種單一的計算平臺可以有效應對如此複雜、多樣、海量的數據採集、處理的挑戰,混搭式的大數據處理平臺的發展趨勢越加明顯。

海量、低時延、非結構化的數據特點將進一步促進數據處理和分析技術的進步,推動流式處理技術的發展將會是一個明顯的變化,以浙江移動為例,即使是當前,如果不對海量的非結構化上網日誌數據進行流式預處理,對離線存儲的數據進行再處理成本就會很高。

5G時代邊緣計算崛起,邊緣計算旨在將大量的數據分析功能下沉到更靠近應用的地方,從而提升響應速度,降低網絡和雲計算的成本,數據分析的本地化是否將形成另一種形式的數據集市?符合邊緣計算要求的數據平臺是否會崛起?

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

四、AI的賦能將無處不在

從數據的角度講,非結構化數據的海量增長,使得大數據的價值密度進一步降低,要能從海量複雜數據中發掘數據間的弱關聯關係,對於人工智能的能力要求進一步加大。

從應用的角度講,AR、VR、圖像與視頻識別、車聯網駕駛行為分析、智慧交通群體模式識別等5G時代的大量物聯網應用,都需要通過人工智能等手段,從海量數據中快速“學習和提煉”出高價值信息與策略,以此控制IoT終端與邊緣設備完成最終的閉環。

從架構的角度講,為了滿足不同業務需求部署的各種物聯網終端、豐富的切片網絡、大量下沉的邊緣節點,這些資源的高效運作都需要人工智能的廣泛支持。

從運維的角度看,承載數以十萬到百萬計的資源節點、網元實例、業務應用實例的5G雲數據中心,要保障如此龐大複雜的資源與業務體系的可持續無間斷運行,引入人工智能輔助的主動式預測性維護也勢在必行。

五、大數據應用被催化

當前的大量APP應用從雲端接收的數據都是控制數據、小數據或非實時大數據,網絡的瓶頸限制了大數據應用價值的發揮.

5G時代,藉助於5G的高帶寬、低時延和AI能力,大數據所承載的業務形式更加複雜多樣,其商業價值將得到快速挖掘。比如VR,其可以在雲端快速完成圖像數據的渲染,通過可靠的高速網絡實時返回給終端,使得業務獲取性提升,體驗提升。

在華為發佈的《5G時代十大應用場景白皮書》中,每項垂直行業應用都與大數據有千絲萬縷的關係,包括AR/VR的實時計算機圖像渲染和建模、車聯網的遠程駕駛、編隊行駛和自動駕駛、智能控制的無線機器人云端控制、智慧能源的饋線自動化、無線醫療的遠程診斷、無線家庭娛樂的超高清8K視頻和雲遊戲、聯網無人機的專業巡檢和安防、社交網絡的超高清/全景直播、個人AI輔助的智能頭盔、智慧城市的AI視頻監控。

六、運營商的大數據挑戰

1、網絡大數據的管理難度加大

5G採用了大規模天線系統和超密集組網技術,並將引入頻譜共享、D2D等複雜的無線傳輸技術,與此前移動網絡技術相比,整體網絡架構也更加靈活,功能更加豐富,業務趨向多樣化,網絡數據的獲取和處理成為5G網絡的一大挑戰.

5G網絡要與4G等多張網絡的同時運行,其數據的維度高、數據類型多、數據量大、缺失數據多、不同設備廠家數據格式不統一等,這使得無線網絡數據的管理挑戰巨大,因為即便在4G時代,相對於B域,DPI數據的統一管理就是運營商一直要解決的難點問題。

基於B域數據管理的經驗,建議首先要形成統一數據標準,涵蓋數據格式、參數定義、計算方式等多個方面,降低數據處理的複雜度;其次是提取高價值數據,減少數據存儲和計算所需的硬件資源;再次是需要採用高效的自動化數據管理手段,最後則是數據安全的保障。

考慮到5G時代網絡切片等能力的增加使得“網絡即業務”成為可能,其與前端市場的距離變得更近,因此,進一步加強O域與B域數據的整合迫切性會非常高,5G的網絡體驗提升必須協同業務才能形成真正的端到端。

2、大數據平臺的價值進一步凸顯

5G時代網絡的定位出現了變化,正如鄔賀銓院士說的一樣,"5G網絡應是以用戶為中心、上下文感知與先應式網絡。"

鄔賀銓表示,"5G本身是終端到數據中心的一個主要通道,前部分數據採集,中間環節是到基站和無線接入網,是有邊緣計算緩存和計算能力的。然後再到核心網,是數據傳送,再到數據中心、雲計算,它是數據分析。智能終端多功能的特性,它跟這個網絡裡頭數百個路由器、服務器,以及交換機它們之間是有很多交互的。所以5G網絡不僅要承載移動用戶的數據,還要接受各種不同後臺服務器、緩存等產生的數據。"

"5G的數據分析在兩個地方得以體現鄔賀銓指出,首先在移動運營商核心站點內的大數據平臺上進行數據分析,按照內容預測算法執行計算並推斷決策內容,然後主動地將他們存儲在具有緩存能力的基站中,從而將內容從雲移動到邊緣(基站);然後,基站負責收集上下文信息,對用戶空間-時間行為進行分析與預測,對數據集合、壓縮與加密,同時從核心網大數據平臺獲得決策,具有緩存能力的基站使得內容靠近用戶,從而改進用戶體驗並減輕回傳網的負載。"

總體上,5G時代,運營商大數據平臺需要在複雜全域(O+B+M)數據的統一處理、低價值密度數據的高效存儲、網絡非結構化數據的快速解析、全域數據的高效整合等方面進行大幅提升。

3、新的商業模式要求新的分析能力

陳志剛在《重磅雄文| 5G的基本商業模式,看此文就夠了 》一文中做過5G基本商業模式的分析,其表示:

“我認為有三種基本的商業模式:基於流量的商業模式、基於切片的商業模式、基於平臺的商業模式。這三種基本商業模式,並不是適合所有運營商,尤其是基於平臺的商業模式,只適合定位於數字化戰略的運營商。”

Gartener的研究報告指出,5G的最大收入潛力將是網絡切片開發。在切片商業模式中,電信運營商的關鍵業務是向各個垂直行業銷售各種邏輯網絡,即行業切片。

按照業內的觀點,5G切片應該具備可定製、可交付、可測量、可計費四大特性,GSMA在2017年的一份報告中指出:構成通信服務的所有組件(比如,通信帶寬、專用處理能力、數據採集、安全模型等)都可以由5G網絡切片的管理系統進行更改和配置。

基於切片,5G網絡可以根據不同的場景要求提供差異化的定價策略,包括基於地點、時間、速率、服務的多維組合定價。

被華為和美國爭破腦袋的5G,真能改變大數據時代嗎?

比如打即時戰略遊戲的人對網絡的要求顯然跟看視頻是不同的,前者強調時延,後者更關注帶寬,2毫秒時延和100毫秒時延收費要有所不同,1K視頻和8K高清視頻顯然也不同。

又比如可以在演唱會、體育賽事這2-3個小時內提供基於時間切片的VR直播業務,比賽結束後,這個切片就消失了。這也是未來切片即服務的一個具體呈現。

基於新的場景要素要求大數據提供新的分析能力,比如準確定位對時延要求很高的遊戲玩家對於營銷就很重要,網絡資費要素越多,意味著供給端的網絡產品越多,大數據能發揮的空間就越大。

基於平臺的商業模式所以提出來,是因為5G提供的大帶寬、高密度、高可靠三種連接能力中,均已經不再是以滿足人與人之間的連接需求為根本目標的,這意味著5G將是面向“360”行業,“萬物”的普遍服務,5G將作為與電力一樣的生產力要素與各個行業融合,各行業都會使用5G作為重構自己價值鏈結構的基本生產力工具。

很多人說運營商自身並不擁有足夠的行業知識細節,甚至完備性都很說的上,那麼對於電信運營商來說,以平臺提供者的角色切入就是唯一的選擇。

但僅就目前的大數據變現的實際情況來看,沒有紮根幾個行業摸索出一條可行之路,提平臺的商業模式屬於水中撈月,因為如果抽象不出什麼共性的東西讓大家願意在上面玩,運營商仍然是個管道,切片也是管道。

無論如何,5G將帶來的大數據的爆發性增長和行業應用的繁榮,運營商大數據變現的潛力將進一步提升,變現的場景將進一步豐富。

這裡以廣告變現為例:

隨著5G新商業應用升級,運營商接觸用戶的媒體資源(高清視頻、VR/AR等)將愈加豐富,結合政企業務的發展及大數據能力的支撐,運營商將能夠具備面向行業開展廣告業務的基礎,比如在VoLTE通話中就存在視頻廣告的可行性,想象空間還是很大的。

為了滿足行業大數據需求,運營商更是要加快5G基礎數據研究(高帶寬、低時延意味著更多的不同類型數據傳送到雲端),利用5G大數據加強客戶的深度洞察(視頻等非結構數據將成為分析的主要對象),進一步做好面向行業的數據中臺,比如基於5G基站的高精度定位,從而更好的賦能全社會。

當然,在5G真正普及前,筆者在這裡的所有關於大數據的影響猜測都是局部的,片面的甚至是錯誤的,在5G到來後,大數據的變化肯定跟你現在想得會很不一樣,但這並不妨礙我們現在去想象一下。

5G改變社會,我們充滿期待!

"

相關推薦

推薦中...