洞悉物聯網發展1000問之數據中臺是大數據平臺嗎?懂點技術範兒!

物聯網 ??? 技術 新社匯and微會動袁帥 2019-04-30

數據中臺被譽為大數據的下一站,由阿里興起,核心思想是數據共享!但不是所有人都清楚數據中臺到底意味著什麼?

數據中臺解決的問題可以總結為如下三點:

效率問題:為什麼應用開發增加一個報表,就要十幾天時間?為什麼不能實時獲得用戶推薦清單?當業務人員對數據產生一點疑問的時候,需要花費很長的時間,結果發現是數據源的數據變了,最終影響上線時間。

協作問題:當業務應用開發的時候,雖然和別的項目需求大致差不多,但因為是別的項目組維護的,所以數據還是要自己再開發一遍。

能力問題:數據的處理和維護是一個相對獨立的技術,需要相當專業的人來完成,但是很多時候,我們有一大把的應用開發人員,而數據開發人員很少。

這三類問題都會導致應用開發團隊變慢。這就是中臺的關鍵——讓前臺開發團隊的開發速度不受後臺數據開發的影響。所以數據中臺是聚合和治理跨域數據,將數據抽象封裝成服務,提供給前臺以業務價值的邏輯概念。


洞悉物聯網發展1000問之數據中臺是大數據平臺嗎?懂點技術範兒!


數據中臺和數據倉庫、數據平臺的關鍵區別是現在數據行業經常討論的問題,到底數據倉庫、數據平臺和數據中臺的區別是什麼呢?

三者的關鍵區別有以下幾方面:

第一,數據中臺是企業級的邏輯概念,體現企業 D2V(Data to Value)的能力,為業務提供服務的主要方式是數據 API;

第二,數據倉庫是一個相對具體的功能概念,是存儲和管理一個或多個主題數據的集合,為業務提供服務的方式主要是分析報表;

第三,數據平臺是在大數據基礎上出現的融合了結構化和非結構化數據的數據基礎平臺,為業務提供服務的方式主要是直接提供數據集;

數據中臺距離業務更近,為業務提供速度更快的服務;

第四,數據倉庫是為了支持管理決策分析,而數據中臺則是將數據服務化之後提供給業務系統,不僅限於分析型場景,也適用於交易型場景;

數據中臺可以建立在數據倉庫和數據平臺之上,是加速企業從數據到業務價值的過程的中間層。

數據倉庫具有歷史性,其中存儲的數據大多是結構化數據,這些數據並非企業全量數據,而是根據需求針對性抽取的,因此數據倉庫對於業務的價值是各種各樣的報表,但這些報表又無法實時產生。

數據倉庫報表雖然能夠提供部分業務價值,但不能直接影響業務。

數據平臺的出現是為了解決數據倉庫不能處理非結構化數據和報表開發週期長的問題,所以先撇開業務需求、把企業所有的數據都抽取出來放到一起,成為一個大的數據集,其中有結構化數據、非結構化數據等。

當業務方有需求的時候,再把他們需要的若干個小數據集單獨提取出來,以數據集的形式提供給數據應用。

而數據中臺是在數據倉庫和數據平臺的基礎上,將數據生產為為一個個數據 API 服務,以更高效的方式提供給業務。

企業所需要具備的數據能力概括為以下六種,具備了這六種能力,企業才具備成為數據驅動的智能企業的基礎,而這些能力的承載平臺,就是數據中臺。

做中臺之前,首先需要知道業務價值是什麼,從業務角度去思考企業的數據資產是什麼?

數據資產不等同於數據,數據資產是唯一的,能為業務產生價值的數據。

對於同一堆數據,不同業務部門所關注的數據指標可能完全不同,怎麼讓各個跨域的業務變成統一的標準,就需要規劃企業的數據全景圖,將所有有可能用上的、所有對企業有可能有價值的數據都規劃出來,最終梳理出企業的數據資產目錄。

在這個時候不需要考慮有沒有系統、有沒有數據,只需要關注哪些數據是對企業業務有價值。傳統的中心化、事前控制式的數據治理方式,要改變為去中心化、事後服務式的治理方式。

數據中臺要為企業提供強大的數據資產的獲取和存儲的能力。

企業的數據中臺一定是跨域的,需要讓所有的人都知道數據資產目錄在哪裡。不能因為數據安全,就不讓大家知道企業有什麼數據。

沒有共享和開放,數據沒有辦法流動起來,沒有流動的話數據的價值產生的速度就會非常慢。

所以在數據安全的基礎上,企業的數據資產目錄要對利益相關者、價值創造者開放,要讓業務人員能夠做到“Self-Service”。

數據中臺不僅要建立到源數據的通路,還需要提供分析數據的工具和能力,幫助業務人員去探索和發現數據的業務價值。

一個好的數據中臺解決方案中需要針對不同業務崗位的用戶提供個性化的數據探索和分析的工具,並且在此基礎上一鍵生成數據 API,以多樣化的方式提供給前臺系統。

數據中臺需要保證數據服務的性能和穩定性,以及數據質量和準確性,還需要具備強大的服務治理能力。

數據中臺是一個生態平臺,在數據中臺上面會不斷生長各種數據服務,所以從一開始就構建好數據服務的治理結構是非常重要的,數據服務需要可以被記錄、可被跟蹤、可被審計、可被監控。

如果數據中臺最終只是做到把數據給到業務人員,那它就只是一個搬運工的角色。

數據中臺還需要具備度量和運營數據服務的能力,能夠對中臺上提供的數據服務及相關行為持續跟蹤和記錄,包括哪些數據服務被哪個部門用了多少次等,通過這些去度量每一個數據服務的業務價值。


洞悉物聯網發展1000問之數據中臺是大數據平臺嗎?懂點技術範兒!


建設數據中臺最大的挑戰在於前期能否從業務層面梳理清楚有業務價值的場景,以及數據全景圖,而不僅在於後期的技術建設。

數據中臺建設面臨的挑戰包括:

第一,梳理業務場景:要搞清楚數據中臺如何對業務產生價值。

第二,建設數據中臺的優先級策略:需求可能大而全,但我們不能直接建大而全的數據中臺,應該根據業務重要性來排需求的優先級。

第三,數據治理問題:和業務獨立開的數據治理少有成功的,大的數據標準要有(數據資產目錄),通過數據資產目錄將共有的緯度、共性的業務模型提煉出來,在此基礎之上數據治理需要跟業務場景緊密結合!

數據中臺是企業的 Data API 工廠,用更高效、更協同的方式加快從數據到業務的價值,能夠給業務提供更高的響應力。

所以數據中臺距離業務更近,這對於傳統企業的數據業務來講,是一個重大的變化,同時給原來的數據團隊也會帶來巨大的挑戰。

當前國內外已經有不少公司開始投資建設數據中臺,大家比較熟悉的包括阿里、華為、聯想、海航、上汽、殼牌等。

數據中臺當前處於上升發展期。雖然未來數據中臺未必還叫做數據中臺,但它一定會成為企業必備的基礎組件。

世界正在從信息化向數字化發展。信息化是指大部分的工作都在物理世界裡完成,然後用數字化解決一小部分問題。

數字化則是把人從物理世界搬到數字化世界。從這個角度來講,數據中臺將會變成物理世界的業務在數字化世界的一個還原。

數據中臺設計的初衷是將計算與存儲分離,從狹義上來說,真正最核心的數據中臺可以是沒有存儲的。

但就當前的情況來看,廣義的數據中臺在未來一段時間內仍會涵蓋數據倉庫、數據湖等存儲組件,“數據工廠”這個概念可能更適用於現在的階段。隨著數據中臺的發展,未來很有可能不再需要數據湖了。

數據中臺目前更偏分析、決策和洞察,為業務提供 T+N 和 T+0 的數據服務,但是再往前走,數據中臺跟交易會慢慢結合得更為緊密。

隨著計算能力越來越強,以及微服務架構的進一步發展,未來業務中臺和數據中臺可能會融為一體。

數據中臺是近期的熱點,最後可以簡單明瞭的總結一下:

第一,中臺是組織機構!具有中介代理職能,中間大兩頭小:入和出的統一,處置、管控的集中。

第二,中臺是運行機制!運營一體化:全過程、全流程、全生命週期的貫通、穿透、聚合

第三,中臺是支撐體系服務模式集合:協同各方、服務各方,資源的集約化歸集和利用。


洞悉物聯網發展1000問之數據中臺是大數據平臺嗎?懂點技術範兒!


未來將是物聯世界,讓我們相約2019年11月19-21日,相約2019(第三屆)全球物聯網大會—尋找思考者!

——————本文完——————

聲明:本文系《洞悉——物聯網發展1000問》系列文章第四十二篇,旨在希望通過系統性與行業專業視角就物聯網產業當前發展現狀與經濟潛力予以分析和分享。IOT物聯網,萬物互聯,互聯萬物。


洞悉物聯網發展1000問之數據中臺是大數據平臺嗎?懂點技術範兒!


作者:王正偉(物哥 WXID:iot-wang)中關村物聯網產業聯盟祕書長 全球物聯網大會主席 本文系作者原創轉載請註明出處 頭條號-新社匯and微會動袁帥 授權發佈

相關推薦

推薦中...