'一種用於決策（decision-making）的系統架構'

種用於決策（decision-making）的系統架構

前言

大數據（big data）時代

• 什麼是大數據
• 一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力範圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。
• 是指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
• Gartner
• 麥肯錫
• 關鍵詞
• 決策力、洞察力和流程優化能力
• 特徵
• Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）
• 提高對數據的“加工能力”，通過“加工”實現數據的“增值”。
• 從技術上看，大數據與雲計算的關係就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理，必須採用分佈式架構。它的特色在於對海量數據進行分佈式數據挖掘。但它必須依託雲計算的分佈式處理、分佈式數據庫和雲存儲、虛擬化技術。
• 大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關係型數據庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。
• 大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）數據庫、數據挖掘、分佈式文件系統、分佈式數據庫、雲計算平臺、互聯網和可擴展的存儲系統。

企業大數據

• 據IDC的調查報告顯示：企業中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。
• 在這個快速發展的智能硬件時代，困擾應用開發者的一個重要問題就是如何在功率、覆蓋範圍、傳輸速率和成本之間找到那個微妙的平衡點。企業組織利用相關數據和分析可以幫助它們降低成本、提高效率、開發新產品、做出更明智的業務決策等等。例如，通過結合大數據和高性能的分析，下面這些對企業有益的情況都可能會發生:
• 1）及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。
• 2）為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。
• 3）分析所有SKU，以利潤最大化為目標來定價和清理庫存。
• 4）根據客戶的購買習慣，為其推送他可能感興趣的優惠信息。
• 5）從大量客戶中快速識別出金牌客戶。
• 6）使用點擊流分析和數據挖掘來規避欺詐行為。

從三個層面來展開：

• 第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這裡從大數據的特徵定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。
• 第二層面是技術，技術是大數據價值體現的手段和前進的基石。在這裡分別從雲計算、分佈式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。
• 第三層面是實踐，實踐是大數據的最終價值體現。在這裡分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

應用

• 洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。
• google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散佈。
• 統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。
• 麻省理工學院利用手機定位數據和交通數據建立城市規劃。
• 梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。
• 醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，這使得很多醫療機構有資金來做大數據分析。

大數據的價值體現在以下幾個方面：

• 1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷
• 2) 做小而美模式的中小微企業可以利用大數據做服務轉型
• 3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值

趨勢

• 趨勢一：數據的資源化
• 何為資源化，是指大數據成為企業和社會關注的重要戰略資源，並已成為大家爭相搶奪的新焦點。因而，企業必須要提前制定大數據營銷戰略計劃，搶佔市場先機。
• 趨勢二：與雲計算的深度結合
• 大數據離不開雲處理，雲處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平臺之一。自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關係將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。
• 趨勢三：科學理論的突破
• 隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智能等相關技術，可能會改變數據世界裡的很多算法和基礎理論，實現科學技術上的突破。
• 趨勢四：數據科學和數據聯盟的成立
• 未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業，也會催生一批與之相關的新的就業崗位。與此同時，基於數據這個基礎平臺，也將建立起跨領域的數據共享平臺，之後，數據共享將擴展到企業層面，並且成為未來產業的核心一環。
• 趨勢五：數據洩露氾濫
• 未來幾年數據洩露事件的增長率也許會達到100%，除非數據在其源頭就能夠得到安全保障。可以說，在未來，每個財富500強企業都會面臨數據攻擊，無論他們是否已經做好安全防範。而所有企業，無論規模大小，都需要重新審視今天的安全定義。在財富500強企業中，超過50%將會設置首席信息安全官這一職位。企業需要從新的角度來確保自身以及客戶數據，所有數據在創建之初便需要獲得安全保障，而並非在數據保存的最後一個環節，僅僅加強後者的安全措施已被證明於事無補。
• 趨勢六：數據管理成為核心競爭力
• 數據管理成為核心競爭力，直接影響財務表現。當“數據資產是企業核心資產”的概念深入人心之後，企業對於數據管理便有了更清晰的界定，將數據管理作為企業核心競爭力，持續發展，戰略性規劃與運用數據資產，成為企業數據管理的核心。數據資產管理效率與主營業務收入增長率、銷售收入增長率顯著正相關;此外，對於具有互聯網思維的企業而言，數據資產競爭力所佔比重為36.8%，數據資產的管理效果將直接影響企業的財務表現。
• 趨勢七：數據質量是BI(商業智能)成功的關鍵
• 採用自助式商業智能工具進行大數據處理的企業將會脫穎而出。其中要面臨的一個挑戰是，很多數據源會帶來大量低質量數據。想要成功，企業需要理解原始數據與數據分析之間的差距，從而消除低質量數據並通過BI獲得更佳決策。
• 趨勢八：數據生態系統複合化程度加強
• 大數據的世界不只是一個單一的、巨大的計算機網絡，而是一個由大量活動構件與多元參與者元素所構成的生態系統，終端設備提供商、基礎設施提供商、網絡服務提供商、網絡接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態系統。而今，這樣一套數據生態系統的基本雛形已然形成，接下來的發展將趨向於系統內部角色的細分，也就是市場的細分;系統機制的調整，也就是商業模式的創新;系統結構的調整，也就是競爭環境的調整等等，從而使得數據生態系統複合化程度逐漸增強。

問題背景

鑽取以尋求原因

• 歸結其本質，數據倉庫的真正目的在於成為用於決策的完美平臺。大多數的 DW （數據倉庫）和 BI （商業智能）架構師都接受這一觀點。但又有多少人停下來並且仔細思考到底什麼是才是決策呢？
• 決策的架構到底應該是什麼樣的呢？

鑽取

• 鑽取是指沿著層次結構（維度的層次）查看數據，鑽取可以變換分析數據的粒度。鑽取分為下鑽（Drill-down）和上鑽（Drill-up），上鑽是沿著數據的維度結構向上聚合數據，在更大的粒度上查看數據的統計信息，而下鑽是沿著數據的維度向下，在更小的粒度上查看更詳細的數據。

名詞說明

• ETL
• 數據的抽取、轉換、加載
• DW
• 數據倉庫(Data Warehouse)
• DSS
• 決策支持系統(Decision-making Support System,DSS)是管理信息系統應用概念深化，在管理信息系統基礎上發展起來的系統。DSS是解決非結構化問題，服務於高層決策的管理信息系統,按功能可分為專用DSS,DSS工具和DSS生成器。專用DSS 是為解決某一領域問題的DSS。DSS工具是指某種語言、某種操作系統、某種數據庫系統。DSS 生成器是通用決策支持系統，一般DSS包括數據庫(DB)、模型庫(MBMS)、方法庫、知識庫和會話部件。
• 一般由數據倉庫(Data Warehouse)來充當DSS 數據庫。數據庫為決策提供數據能力或資料能力。模型庫為決策提供分析能力的部件,模型能力的定義是轉化非結構化問題的程度。會話部件，又稱接口部件，它是人和決策支持系統聯繫的接口。
• IDSS
• 智能決策支持系統(IDSS)在一般DSS基礎上增加了OR/MS深度知識庫。所以IDSS=DSS+AI(人工智能)。
• 智能決策支持系統是決策支持系統（DSS）與人工智能（AI）相結合的產物，其設計思想著重研究把AI的知識推理技術和DSS的基本功能模塊有機地結合起來。有的DSS已融進了啟發式搜索技術，這就是人工智能方法在DSS中的初步實現。將人工智能技術引入決策支持系統主要有兩方面原因：第一是人工智能因可以處理定性的、近似的或不精確的知識而引入DSS中；第二DSS的一個共同特徵是交互性強，這就要求使用更方便，並在接口水平和在進行的推理上更為“透明”。人工智能在接口水平，尤其是對話功能上對此可以作出有益的貢獻，如自然語言的研究使用使DSS能用更接近於用戶的語言來實現接口功能。
• SDSS
• 自從20世紀70年代決策支持系統概念被提出以來，決策支持系統已經得到很大的發展。1980年Sprague提出了決策支持系統三部件結構（對話部件、數據部件、模型部件），明確了決策支持系統的基本組成，極大地推動了決策支持系統的發展。

20世紀80年代末90年代初， 決策支持系統開始與專家系統（Expert System, ES）相結合，形成智能決策支持系統（ Intelligent Decision Support System, IDSS）。智能決策支持系統充分發揮了專家系統以知識推理形式解決定性分析問題的特點，又發揮了決策支持系統以模型計算為核心的解決定量分析問題的特點，充分做到了定性分析和定量分析的有機結合，使得解決問題的能力和範圍得到了一個大的發展。智能決策支持系統是決策支持系統發展的一個新階段。20世紀90年代中期出現了數據倉庫（Data Warehouse, DW）、聯機分析處理（On-Line Analysis Processing, OLAP）和數據挖掘（Data Mining, DM）新技術，DW+OLAP+DM逐漸形成新決策支持系統的概念，為此，將智能決策支持系統稱為傳統決策支持系統。新決策支持系統的特點是從數據中獲取輔助決策信息和知識，完全不同於傳統決策支持系統用模型和知識輔助決策。傳統決策支持系統和新決策支持系統是兩種不同的輔助決策方式，兩者不能相互代替，更應該是互相結合。把數據倉庫、聯機分析處理、數據挖掘、模型庫、數據庫、知識庫結合起來形成的決策支持系統，即將傳統決策支持系統和新決策支持系統結合起來的決策支持系統是更高級形式的決策支持系統，成為綜合決策支持系統（Synthetic Decision Support System, SDSS）。綜合決策支持系統發揮了傳統決策支持系統和新決策支持系統的輔助決策優勢，實現更有效的輔助決策。綜合決策支持系統是今後的發展方向。

• GDSS
• 群決策支持系統（GDSS）
• 群決策支持系統可提供三個級別的決策支持：
• 第一層次是GDSS旨在減少群體決策中決策者之間的通信，溝通信息，消除交流的障礙，如及時顯示各種意見的大屏幕，投票表決和彙總設備，無記名的意見和偏愛的輸入，成員間的電子信息交流等。其目的是通過改進成員間的信息交流來改進決策過程，通常所說的“電子會議系統”就屬於這一類。
• 第二層次的GDSS提供善於認識過程和系統動態的結構技術，決策分析建模和分析判斷方法的選擇技術。這類系統中的決策者往往面對面地工作，共享信息資源，共同制定行動計劃。
• 第三層次的GDSS其主要特徵是將上述兩個層次的技術結合起來，用計算機來啟發、指導群體的通信方式，包括專家諮詢和會議中規則的智能安排。
• DDSS
• 分佈式決策支持系統（DDSS）
• DDSS是由多個物理分離的信息處理特點構成的計算機網絡，網絡的每個結點至少含有一個決策支持系統或具有若干輔助決策的功能。與一般的決策支持系統相比，DDSS有以下一些特徵：
• DDSS是一類專門設計的系統，能支持處於不同結點的多層次的決策，提供個人支持、群體支持和組織支持。不僅能從一個結點向其它結點提供決策，還能提供對結果的說明和解釋，有良好的資源共享。能為結點間提供交流機制和手段，支持人機交互，機機交互和人與人交互。具有處理結點間可能發生的衝突的能力，能協調各結點的操作，既有嚴格的內部協議，又是開放性的，允許系統或結點方便地擴展，同時系統內的結點作為平等成員而不形成遞階結構，每個結點享有自治權。
• 3IDSS
• 智能-交互-集成化決策支持系統（3IDSS）
• 隨著DSS應用範圍的不斷擴大，應用層次的逐漸提高，DSS已進入到區域性經濟社會發展戰略研究、大型企業生產經營決策等領域的決策活動中來，這些決策活動不僅涉及到經濟活動各個方面、經營管理的各個層次，而且各種因素互相關聯，決策環境更加錯綜複雜。對於省、市、縣等發展戰略規劃方面的應用領域，決策活動還受政治、社會、文化、心理等因素不同程度的影響，而且可供使用的信息又不夠完善、精確，這些都給DSS系統的建設造成了很大的困難。在這種情況下，一種新型的、面向決策者、面向決策過程的綜合性決策支持系統產生了，即智能-交互-集成化決策支持系統（Intelligent，Interactive and Integrated DSS，簡稱3IDSS）。
• 集成化：在這種情況下，採用單一的以信息為基礎的系統，或以數學模型為基礎的系統，或以知識、規則為基礎的系統，都難以滿足上述這些領域的決策活動的要求。這就需要在面向問題的前提下，將系統分析、運籌學方法、計算機技術、知識工程、人工智能等有機地結合起來，發揮各自的優勢，實現決策支持過程的集成化。
• 交互性：決策支持系統的核心內容是人機交互。為了幫助決策者處理半結構化和非結構化的問題，認定目標和環境約束，進一步明確問題，產生決策方案和對決策方案進行綜合評價，系統應具備更強的人機交互能力，成為交互式系統（Interactive systems）。
• 智能化：決策支持系統在處理難以定量分析的問題時，需要使用知識工程、人工智能方法和工具，這就是決策支持系統的智能化（Intelligent）。

解決方案

“架構”是什麼？

• 架構這個概念最早起源於建築行業。《新華詞典》對架構的定義是：建造、構築、框架、支架。

在維基百科中，架構被定義為：規劃、設計和建造建築物或其它物理結構的過程或者產出物(Architecture is both the process and the product of planning, designing, and constructing buildings and other physical structures. )。

在柯林斯英漢雙解大詞典中，architecture被翻譯為建築藝術（Architecture is the art of planning, designing, and constructing buildings. ）或者是建築風格（The architecture of a building is the style in which it is designed and constructed. ）。

架構的概念起源於建築其實不難理解。首先建築是物理實體，看得見摸得著，非常直觀。人們通過觀察建築，可以瞭解到建築的各個組成部分以及各個組成部分是如何連接在一起的；通過更進一步的觀察可以總結出建築物的不同風格。由以上架構的定義可知，架構可以作為名詞指代建築物的結構或者建築風格（設計和規劃的結果），也可以作為動詞指代設計、規劃和建造建築物結構和風格的過程（設計和規劃的過程）。雖然架構的概念起源於建築行業，但由於幾乎所有的事物都可以分解為不同的組成部分，而且各個組成部分之間也存在著各種各樣的關係，因此架構的概念也就自然而然地應用到了不同的行業和技術領域中，例如，公司的組織架構和體現各部門職責分工的業務架構、在軟件開發技術領域中的軟件架構等。- 軟件系統的架構

• 組成派
• Mary Shaw在《軟件體系結構：一門初露端倪學科的展望》中，為“軟件架構”給出了精緻利索的定義：
• 軟件系統的架構將系統描述為計算組件及組件之間的交互（The architecture of a software system defines that system in terms of computational components and interactions among those components.）。

必須說明，上述定義中的“組件”是廣泛意義上的元素之意，並不是指和CORBA、DCOM、EJB等相關的專有的組件概念；“計算組件”也是泛指，其實計算組件可以進一步細分為處理組件、數據組件、連接組件等。總之，“組件”可以指子系統、框架、模塊、類等不同粒度的軟件單元，它們可以擔負不同 的計算職責。

• 決策派

在決策派中，RUP（Rational Unified Process，Rational統一過程），它把軟件架構定義為關於以下問題的重要決策：

- 1）軟件系統的組織；
- 2）選擇組成系統的結構元素和它們之間的接口，以及當這些元素相互協作時所體現的行為；
- 3）如何組合這些元素，使它們逐漸合成為更大的子系統；
- 4）用於指導這個系統組織的架構風格：這些元素以及它們的接口、協作和組合；
- 5）軟件架構並不僅僅注重軟件本身的結構和行為，還注重其他特性：使用、功能性、性能、彈性、重用、可理解性、經濟和技術的限制及權衡，以及美學等。

• 小結
• RUP給出的軟件架構的定義雖然比較冗長，但其核心思想非常明確：軟件架構是在一些重要方面所做出的決策的集合。軟件架構的組成派和決策派的定義是從兩個不同角度去描述軟件架構，並不矛盾。組成派認為：架構=組件+交互，這是從軟件架構的設計結果角度去定義。決策派認為：架構=重要決策的集合，這是從軟件架構的設計過程角度去定義。組成派和決策派的定義合在一起，完整地表達了“軟件架構”所指代的設計結果（軟件架構）和設計過程（設計軟件架構的過程）的2個方面的含義。

分析應用過程

• 2002 年，Bill 提出了一種用於決策的非常有用的架構，稱之為“分析應用過程”。由五個階段構成：
• 1.發表報告（報表）。
• 2.識別異常。
• 3.判定因果要素。設法理解所識別出的異常背後的原因或根源。
• 4.模型選項。提供評估不同的決策選項。
• 5.跟蹤操作。評價推薦操作的有效性，並將決策同時反饋給業務系統，並針對該事項發表報告，形成負反饋閉環。

應用分層

• 基礎數據及事務處理層
• 事務處理層是應用軟件中最基礎的層次，也是最為龐大和繁瑣的一層，所採集的信息是大量的業務基礎數據，如宏觀經濟、農業信息數據庫；人口統計數據庫、政策法規庫、企業產品庫。另外，還包括對各類數據進行分析、統計、查詢等事務處理的應用系統，如月度、季度、年度等宏觀經濟監測系統、預警分析系統；宏觀經濟跟蹤、預測、預警系統等。在決策支持系統中需要對該層的信息系統進行分類、加工和整理，形成決策支持系統中的元數據。
• 統計分析管理監控層
• 根據由業務基礎數據經過抽取或加工後所形成的信息，對其業務範圍內的業務情況進行信息查詢、信息分析、監督管理和檢查的職能。在經過抽取和整理的元數據的基礎之上，建立各種統計、分析模型，如計量經濟模型、多方程時間序列統計模型、神經網絡及投入產出模型等。通過模型的定義和開發，利用構成的經濟模型，對經濟系統中各方面給出全面深入的各種分析結果，包括因素分析、預測和政策模擬。其中要求系統能自動調用和集成不同類型的分析工具，例如迴歸分析和投入產出的自動結合。
• 輔助決策層
• 根據統計分析管理監控層的各種分析模型，進行多維的、更為複雜的綜合分析和計算，從中發現各種趨勢（如人口增長趨勢、宏觀經濟趨勢預測等）；發現異常情況；得到重要細節；找出內在規律，為各級領導的決策業務提供切實有效的幫助。每一個業務系統都將包含針對其相應業務（如人口、宏觀經濟、農業、外商投資、政策法規、企業產品等）的輔助決策子系統，在各業務輔助決策子系統的支持下，還可拓展面向綜合性的輔助決策系統。

總結

越是喧囂的世界，越需要寧靜的思考。

合抱之木，生於毫末；九層之臺，起於壘土；千里之行，始於足下。積土成山，風雨興焉；積水成淵，蛟龍生焉；積善成德，而神明自得，聖心備焉。故不積跬步，無以至千里；不積小流，無以成江海。騏驥一躍，不能十步；駑馬十駕，功在不捨。鍥而舍之，朽木不折；鍥而不捨，金石可鏤。蚓無爪牙之利，筋骨之強，上食埃土，下飲黃泉，用心一也。蟹六跪而二螯，非蛇鱔之穴無可寄託者，用心躁也。

https://www.tuicool.com/articles/r6VBvuq