'數據中臺盛行,DataOps興起,數據架構才是未來'

"

導讀:在數字化轉型的浪潮下,數據架構獲得了越來越多的關注。作為企業架構中的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型,在企業中發揮著不可或缺的作用。伴隨DataOps等場景的出現,數據架構會越來越走向數據消費端,為我們帶來更多的變化和新發現。

1、 什麼是數據架構?

自數據庫技術興起以來,人們慢慢發現需要一種東西去描述數據的狀態、定義數據需求、指導數據集成、管理數據資產,以更好地實現數據策略——數據架構應運而生。

數據架構是識別企業數據需求,並以這些數據需求為出發點,設計和維護的主藍圖,以使用這些主藍圖來指導數據集成、控制數據資產,並使數據投資與業務戰略保持一致(DAMA-DMBOK2,DAMA International)。

越是專業的定義越讓人難以理解,舉個例子:

小明打算在有生之年買一套北京二環內的房子,相關機構需要分析小明是否有買房資格,這是業務需求;那麼為了分析小明的買房資格,最起碼需要小明的身份數據、婚姻數據、在京納稅數據、在京繳納社保數據、在京房產數據,這些是數據需求;為了有效獲取並集成這些數據,以實現相關機構分析小明買房資格的業務需求,我們需要下圖所示的數據架構 (注:此處只是簡單例子,企業真實數據架構含有很多組件,會複雜很多)。

"

導讀:在數字化轉型的浪潮下,數據架構獲得了越來越多的關注。作為企業架構中的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型,在企業中發揮著不可或缺的作用。伴隨DataOps等場景的出現,數據架構會越來越走向數據消費端,為我們帶來更多的變化和新發現。

1、 什麼是數據架構?

自數據庫技術興起以來,人們慢慢發現需要一種東西去描述數據的狀態、定義數據需求、指導數據集成、管理數據資產,以更好地實現數據策略——數據架構應運而生。

數據架構是識別企業數據需求,並以這些數據需求為出發點,設計和維護的主藍圖,以使用這些主藍圖來指導數據集成、控制數據資產,並使數據投資與業務戰略保持一致(DAMA-DMBOK2,DAMA International)。

越是專業的定義越讓人難以理解,舉個例子:

小明打算在有生之年買一套北京二環內的房子,相關機構需要分析小明是否有買房資格,這是業務需求;那麼為了分析小明的買房資格,最起碼需要小明的身份數據、婚姻數據、在京納稅數據、在京繳納社保數據、在京房產數據,這些是數據需求;為了有效獲取並集成這些數據,以實現相關機構分析小明買房資格的業務需求,我們需要下圖所示的數據架構 (注:此處只是簡單例子,企業真實數據架構含有很多組件,會複雜很多)。

數據中臺盛行,DataOps興起,數據架構才是未來

圖 1分析買房資格的數據架構

2、 數據架構解決什麼問題?

作為連接企業架構中其他三個架構(業務架構、應用架構、技術架構)的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型。

"

導讀:在數字化轉型的浪潮下,數據架構獲得了越來越多的關注。作為企業架構中的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型,在企業中發揮著不可或缺的作用。伴隨DataOps等場景的出現,數據架構會越來越走向數據消費端,為我們帶來更多的變化和新發現。

1、 什麼是數據架構?

自數據庫技術興起以來,人們慢慢發現需要一種東西去描述數據的狀態、定義數據需求、指導數據集成、管理數據資產,以更好地實現數據策略——數據架構應運而生。

數據架構是識別企業數據需求,並以這些數據需求為出發點,設計和維護的主藍圖,以使用這些主藍圖來指導數據集成、控制數據資產,並使數據投資與業務戰略保持一致(DAMA-DMBOK2,DAMA International)。

越是專業的定義越讓人難以理解,舉個例子:

小明打算在有生之年買一套北京二環內的房子,相關機構需要分析小明是否有買房資格,這是業務需求;那麼為了分析小明的買房資格,最起碼需要小明的身份數據、婚姻數據、在京納稅數據、在京繳納社保數據、在京房產數據,這些是數據需求;為了有效獲取並集成這些數據,以實現相關機構分析小明買房資格的業務需求,我們需要下圖所示的數據架構 (注:此處只是簡單例子,企業真實數據架構含有很多組件,會複雜很多)。

數據中臺盛行,DataOps興起,數據架構才是未來

圖 1分析買房資格的數據架構

2、 數據架構解決什麼問題?

作為連接企業架構中其他三個架構(業務架構、應用架構、技術架構)的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型。

數據中臺盛行,DataOps興起,數據架構才是未來

圖2數據架構是企業架構中的紐帶

具體來說,數據架構在企業中的作用,可總結為以下四點:

1、 從不同層次描述數據,為數據管理奠定基礎

作為企業數據層面的主藍圖,數據架構管理了整個企業的複雜數據和信息交付,數字化時代,企業擁有的數據量遠超出員工的理解範圍,數據架構使企業能在不同的抽象層次上表達數據,為數據管理奠定了堅實的基礎。

2、 定義企業數據狀態,表達戰略數據需求

數據架構是對企業當前數據狀態的整體性描述,通過數據架構,企業數據狀態一目瞭然,通過分析數據架構中的不足與業界的差距,可以幫助企業定義未來的狀態目標,幫助企業快速制定戰略數據需求。

3、 促進企業數據標準化,指導企業數據集成

數據架構為整個企業提供了一致的數據語言(包括標準業務詞彙表、標準技術元數據等),將業務架構中的業務需求轉化成為了數據、系統、技術需求,使不同部門和不同身份的技術和業務人員在數據層面達成一致,為數據標準化和數據集成提供了良好的支撐。

4、 規範企業數據流轉,拉通數據生命週期

數據生命週期中包括了數據的創建、獲取、移動、轉換、存儲、維護、共享、使用、處理等諸多流程,在整個生命週期中數據可以被清理、轉換、合併、更新和彙總,涉及到太多的數據流轉過程,規範數據在諸多生命週期階段的流轉細節可能會非常複雜,要求不同階段之間相互理解並隨時達成一致,此時數據架構必不可少。

3、 數據架構包含哪些內容?

作為企業層面的"主藍圖",數據架構中包含諸多組件,企業需求的不同可能導致其數據架構包含的組件也不相同,以下是數據架構中的一些常見組件:

1、 數據模型——數據架構的核心

· 概念數據模型:概念數據模型是能表示現實世界的概念化結構,通過概念實體及關係,從業務的角度對信息進行的高層級描述。如在文章最開始的例子中,小明買房的整體建模就可以理解為是一種簡單的概念模型,概念模型是為了讓業務能明白數據有什麼,幫助數據與業務溝通。

· 邏輯數據模型:邏輯數據模型在概念數據模型的基礎上定義了各個實體的屬性,是對概念模型的進一步細化,包括所有的實體、實體的屬性、實體之間的關係以及每個實體的主鍵、實體的外鍵等。邏輯模型幫助數據與應用溝通,比如應用需要小明的身份信息,邏輯模型裡就需要有個身份信息的數據實體,並且需要明確身份信息中的各個屬性(如身份證號、姓名、年齡等)。

· 物理數據模型:物理數據模型是在邏輯數據模型的基礎上,綜合考慮各種存儲條件的限制,將邏輯數據模型中的實體、屬性以及關係轉換成的物理元素(表、字段、索引等)。物理數據模型是幫助數據與技術溝通,明確了數據到底怎麼建,存儲的位置等。比如小明的身份信息具體存在那個物理表中就是在物理模型中明確的。(注:物理模型雖然屬於數據架構的組件,但不是數據架構的產物)

2、 數據流——數據與數據間的關係

數據流中主要需要設計數據如何流動,如小明需要買房,小明的社保信息需要從社保中心獲取,小明的納稅信息需要從稅務局獲取,這些數據需要從社保中心、稅務局流動到買房資格那裡供分析使用,這就是數據流。數據流是數據架構很關鍵的部分,表示了數據從哪個源頭來,到哪裡去使用的過程。如身份信息就需要從公安獲取,而不能從社保中心獲取。數據流的設計也是數據架構設計的必備設計。

3、 價值流——數據與業務間的關係

價值流更容易理解,所有的業務都有業務流程,而業務流程中會產生/使用/銷燬數據,這裡需要設計,哪些數據會在關鍵價值流中使用,對業務流程有關鍵作用,比如小明買房資格中的所需關鍵信息就是價值流需要設計的部分。

4、 數據定義和數據標準——數據架構建設的準則和規範

在數據架構中需要規定數據模型的標準規範,包括標準的數據模型定義方式、模型屬性的標準規範等,我們通常這個標準規範為數據標準。從理論上講,所有的數據模型、數據流、數據映射關係的建設都需要參考數據定義和數據標準,從而保證數據在各個環節的拉通。

"

導讀:在數字化轉型的浪潮下,數據架構獲得了越來越多的關注。作為企業架構中的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型,在企業中發揮著不可或缺的作用。伴隨DataOps等場景的出現,數據架構會越來越走向數據消費端,為我們帶來更多的變化和新發現。

1、 什麼是數據架構?

自數據庫技術興起以來,人們慢慢發現需要一種東西去描述數據的狀態、定義數據需求、指導數據集成、管理數據資產,以更好地實現數據策略——數據架構應運而生。

數據架構是識別企業數據需求,並以這些數據需求為出發點,設計和維護的主藍圖,以使用這些主藍圖來指導數據集成、控制數據資產,並使數據投資與業務戰略保持一致(DAMA-DMBOK2,DAMA International)。

越是專業的定義越讓人難以理解,舉個例子:

小明打算在有生之年買一套北京二環內的房子,相關機構需要分析小明是否有買房資格,這是業務需求;那麼為了分析小明的買房資格,最起碼需要小明的身份數據、婚姻數據、在京納稅數據、在京繳納社保數據、在京房產數據,這些是數據需求;為了有效獲取並集成這些數據,以實現相關機構分析小明買房資格的業務需求,我們需要下圖所示的數據架構 (注:此處只是簡單例子,企業真實數據架構含有很多組件,會複雜很多)。

數據中臺盛行,DataOps興起,數據架構才是未來

圖 1分析買房資格的數據架構

2、 數據架構解決什麼問題?

作為連接企業架構中其他三個架構(業務架構、應用架構、技術架構)的關鍵紐帶,數據架構解決了業務與數據間的映射,規範了應用架構中的數據集成關係,指導了技術架構的技術選型。

數據中臺盛行,DataOps興起,數據架構才是未來

圖2數據架構是企業架構中的紐帶

具體來說,數據架構在企業中的作用,可總結為以下四點:

1、 從不同層次描述數據,為數據管理奠定基礎

作為企業數據層面的主藍圖,數據架構管理了整個企業的複雜數據和信息交付,數字化時代,企業擁有的數據量遠超出員工的理解範圍,數據架構使企業能在不同的抽象層次上表達數據,為數據管理奠定了堅實的基礎。

2、 定義企業數據狀態,表達戰略數據需求

數據架構是對企業當前數據狀態的整體性描述,通過數據架構,企業數據狀態一目瞭然,通過分析數據架構中的不足與業界的差距,可以幫助企業定義未來的狀態目標,幫助企業快速制定戰略數據需求。

3、 促進企業數據標準化,指導企業數據集成

數據架構為整個企業提供了一致的數據語言(包括標準業務詞彙表、標準技術元數據等),將業務架構中的業務需求轉化成為了數據、系統、技術需求,使不同部門和不同身份的技術和業務人員在數據層面達成一致,為數據標準化和數據集成提供了良好的支撐。

4、 規範企業數據流轉,拉通數據生命週期

數據生命週期中包括了數據的創建、獲取、移動、轉換、存儲、維護、共享、使用、處理等諸多流程,在整個生命週期中數據可以被清理、轉換、合併、更新和彙總,涉及到太多的數據流轉過程,規範數據在諸多生命週期階段的流轉細節可能會非常複雜,要求不同階段之間相互理解並隨時達成一致,此時數據架構必不可少。

3、 數據架構包含哪些內容?

作為企業層面的"主藍圖",數據架構中包含諸多組件,企業需求的不同可能導致其數據架構包含的組件也不相同,以下是數據架構中的一些常見組件:

1、 數據模型——數據架構的核心

· 概念數據模型:概念數據模型是能表示現實世界的概念化結構,通過概念實體及關係,從業務的角度對信息進行的高層級描述。如在文章最開始的例子中,小明買房的整體建模就可以理解為是一種簡單的概念模型,概念模型是為了讓業務能明白數據有什麼,幫助數據與業務溝通。

· 邏輯數據模型:邏輯數據模型在概念數據模型的基礎上定義了各個實體的屬性,是對概念模型的進一步細化,包括所有的實體、實體的屬性、實體之間的關係以及每個實體的主鍵、實體的外鍵等。邏輯模型幫助數據與應用溝通,比如應用需要小明的身份信息,邏輯模型裡就需要有個身份信息的數據實體,並且需要明確身份信息中的各個屬性(如身份證號、姓名、年齡等)。

· 物理數據模型:物理數據模型是在邏輯數據模型的基礎上,綜合考慮各種存儲條件的限制,將邏輯數據模型中的實體、屬性以及關係轉換成的物理元素(表、字段、索引等)。物理數據模型是幫助數據與技術溝通,明確了數據到底怎麼建,存儲的位置等。比如小明的身份信息具體存在那個物理表中就是在物理模型中明確的。(注:物理模型雖然屬於數據架構的組件,但不是數據架構的產物)

2、 數據流——數據與數據間的關係

數據流中主要需要設計數據如何流動,如小明需要買房,小明的社保信息需要從社保中心獲取,小明的納稅信息需要從稅務局獲取,這些數據需要從社保中心、稅務局流動到買房資格那裡供分析使用,這就是數據流。數據流是數據架構很關鍵的部分,表示了數據從哪個源頭來,到哪裡去使用的過程。如身份信息就需要從公安獲取,而不能從社保中心獲取。數據流的設計也是數據架構設計的必備設計。

3、 價值流——數據與業務間的關係

價值流更容易理解,所有的業務都有業務流程,而業務流程中會產生/使用/銷燬數據,這裡需要設計,哪些數據會在關鍵價值流中使用,對業務流程有關鍵作用,比如小明買房資格中的所需關鍵信息就是價值流需要設計的部分。

4、 數據定義和數據標準——數據架構建設的準則和規範

在數據架構中需要規定數據模型的標準規範,包括標準的數據模型定義方式、模型屬性的標準規範等,我們通常這個標準規範為數據標準。從理論上講,所有的數據模型、數據流、數據映射關係的建設都需要參考數據定義和數據標準,從而保證數據在各個環節的拉通。

數據中臺盛行,DataOps興起,數據架構才是未來

圖3 數據架構的關鍵組件

4、 數據架構的發展趨勢?

現在數據中臺建設已經成為企業數字化轉型的必選件,數據架構需要從模型為導向,走向以服務為導向。傳統數據架構更重視內部信息的建模和梳理,為信息化打下了很好的基礎。未來數據建模依然是企業數據架構的基礎,這點毋庸置疑,但是為了使數據架構真正落地,為數據消費端服務,未來在數據建模的同時需要考慮數據服務需求,提前確定服務水平協議(SLA,Service Level Agreement),這將會成為未來企業數據架構規劃的重點。

1、 從關注底層模型,向關注數據服務轉變

數據建模與數據集成依然是數據架構的重要任務,但數據集成方式應該參考服務化架構,不應該再單純關注底層模型,以梳理現狀為主,而應該從數據與業務的關聯入手,在模型層之上規劃需要提供給業務的數據服務,在數據模型設計時就要讓業務明白數據服務與底層數據的關係。

2、 從單純規劃內部數據,向規劃內外部數據集成與交互轉變

客戶數據、採購數據、互聯網數據、IOT數據等對數字化企業越來越重要,數據架構需要重點規劃外部的數據模型,以實現企業內部數據與外部數據在模型層面的連接。自GDPR(通用數據保護條例)發佈以來,由於數據安全的收緊,外部數據的整體數據流也需要詳細規劃。

數據架構的演進遠遠沒有結束,伴隨未來DataOps等場景的出現,數據架構這部分內容會有更多的變化和新發現,數據架構也會越來越走向最終的數據消費端。

5、 參考

[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:97.

[2]Steve Hoberman.Data Modeling Made Simple: A Practical Guide for Business and IT Professionals[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2009[3]天行健-任我行.企業架構---幾種架構的集成[EB/OL].http://www.360doc.com/content/11/0428/03/170126_112833730.shtml,2011-04-28.

[4]人月神話.應用架構和技術架構[EB/OL].http://blog.sina.com.cn/s/blog_493a84550101cfen.html,2013-01-26.

[5]孤獨劍0001.概念數據模型、邏輯數據模型、物理數據模型[EB/OL].https://blog.csdn.net/gdj0001/article/details/80137496,2018-04-30.

"

相關推薦

推薦中...