導讀
隨著5G、AI和IoT等各類信息新技術的發展，對數據中心的需求越來越強烈。傳統的數據中心五層架構需要更多的集成優化，以更好滿足各類應用的算力需求。未來數據中心的發展方向將不再侷限於雲數據中心，邊緣節點和超算中心將在更多的應用場景下提供更多的計算能力。
一、引言
近年來，隨著各類互聯網應用的快速發展以及網絡帶寬的大幅提高，作為信息基礎設施的數據中心發展迅速。從2015年開始，我國固定帶寬下載速率從5Mbit/s到2018年上半年提升到21Mbit/s，全國移動寬帶用戶通過4G網絡訪問互聯網時的平均下載速率為20.22Mbit/s。在這個過程中，全球數據量從2015年的10ZB增長到2018年的30ZB左右。基本而言，帶寬和數據量的發展呈現了一定的線性關係。
20世紀末—21世紀初，隨著固網帶寬的提升和技術的發展，各類門戶網站、微博開始興起，數據量開始增大；隨著3G、4G的使用，微信等社交APP、抖音快手等短視頻APP開始流行，數據量暴增。也就是在這個過程中，全國各地開始了熱火朝天的大型和超大型數據中心建設，國家政府主管部門開始關注這個產業的發展。2013年，工信部發布了《關於數據中心建設佈局的指導意見》；2018年，工信部發布了《全國數據中心應用發展指引（2017）》，據悉2018版已經在編制當中。北京、上海、浙江、內蒙古和貴州等地相繼出臺了數據中心相關的政策和發展指導意見。
隨著規模的不斷擴大，能耗逐漸成為限制數據中心產業發展的一大挑戰併成為大家重點關注的問題。從粗放式發展演進為精細化建設，降低各類資源消耗，提高能源效率水平，讓能源得到更加高效的計算能力輸出是需要迫切解決的問題，因此非常有必要在數據中心的整個生命週期開展集成和優化研究。
二、需求分析
（一）5G
據報道，2018年12月三大運營商已經獲得全國範圍5G中低頻段試驗頻率使用許可，5G離我們更近了。那麼，5G時代會帶來什麼？相關研究報告顯示，5G將能提供峰值10Gbit/s以上的帶寬、毫秒級時延和超高密度連接，實現網絡性能新的躍升，開啟萬物互聯、帶來無限遐想的新時代。5G網絡將提供更低的延遲，更快的速度，從而將會生產越來越多的數據；不僅如此，5G還將具有擴展到計算機和手機之外的能力，涵蓋雲和全新連接到網絡的設備世界，數量驚人。
5G將提供超高密度的信息點接入，此類信息點將產生海量數據。一方面需要邊緣節點進行就近處理，另一方面需要雲計算數據中心進行集中的存儲和挖掘。邊緣計算執行實時應用程序，這些應用程序需要在較近的邊緣服務器上進行高速響應，通信延遲被縮短到幾毫秒。它將用戶設備上的一些計算密集型處理卸載到邊緣服務器，並使應用程序處理較少依賴於設備的能力。也就是說，5G對邊緣數據中心的功能和性能需求將會越來越高。
（二）AI
人工智能會給我們帶來什麼？據研究資料顯示，人工智能系統主要由基礎設施提供者、信息提供者、信息處理者和系統協調者4個角色組成。其中，基礎設施提供者為人工智能系統提供計算能力支持，實現與外部世界的溝通，並通過基礎平臺實現支撐。計算能力由智能芯片等硬件系統開發商提供；與外部世界的溝通通過新型傳感器製造商提供；基礎平臺包括分佈式計算框架提供商及網絡提供商提供平臺保障和支持，即包括雲存儲和計算、互聯互通網絡等。
在數據規模上，這一輪以深度學習為代表的人工智能，更多是通過大規模的數據量激發出來的。各類搜索數據、定位數據、消費數據、圖像視頻數據等對存儲的要求非常高。因此，對於人工智能來說，計算能力尤為重要。未來一段時期，AI對算力的要求將呈現指數級的增長，對數據中心的算力供給提出了新的挑戰。算力不僅是基於CPU的通用計算，還有多元化的異構計算；算力的提升對網絡的整體延時會有大幅度下降的要求，可以通過諸如無損網絡之類的解決方案來進行網絡的重構。
數據中心將支持並推動AI發展。同時，AI作為一種非常重要的賦能工具，可以把AI研究的成果應用到數據中心。對數據中心IT設備以及供配電、製冷設備的運行數據進行深度學習、平臺訓練得到模型，產生預測數據，從而進行系統調優，降低運營成本；通過提前故障預判，快速精準定位，縮短故障維修時間；通過負荷預測、業務調度，可以增加服務器的負載，提升機房資源利用率。當數據中心的規模越來越大，迫切需要人工智能替代傳統的人力來對數據中心進行運維管理，這樣能夠解放更多的人力，讓人類專注於維護高效數據中心的關鍵和最有創造性的方面。
（三）IoT
最保守的預測也認為20年後將會有超過1000億的設備連接在互聯網上。這些設備包括了移動設備、可穿戴設備、家用電器、醫療設備、工業探測器、監控攝像頭、汽車以及服裝等。它們所創造並分享的數據將會給工作和生活帶來一場新的信息革命。
人們將可以利用來自物聯網的信息來加深對世界以及自己生活的瞭解，並且做出更加合適的決定。與此同時，聯網設備也將把目前許多工作，比如監視、管理以及維修等需要人力的工作自動化。
物聯網連接了大量的設備，它增加了跨越不同區域的設備的數字化和自動化。此外，由這些無數設備生成的數據將顯著增加安全管理問題。因此，物聯網將為不同行業的許多組織帶來新的安全挑戰。
三、架構分析
一說起數據中心，第一反應一般會是風火水電。毋庸置疑，風火水電對數據中心的正常運行非常重要，但實際上行業對數據中心的創新點通常來源於4個層面：L0層是樓宇防火，L1層是供配電製冷機櫃等物理基礎設施，L2層是IT設備，L3層以上就是對數據中心的運維調度管理（見圖1）。
圖1 數據中心五層架構
數據中心的五層架構並不是完全獨立各自為戰的。運維管理系統負責直接或者間接得對各類硬件資源進行統籌管理。硬件資源之間也有相互影響的關係，比如當IT硬件的能耗上去之後意味著供配電和製冷方面得有更多的調度支持。因此，從對數據中心五層架構的統籌協調來看，在支撐好上層業務穩定運行的基礎上如何進行更加高效的集成優化是一個需要深入研究的課題。傳統的粗放的數據中心運維管理模式已經不適應現代數據中心的發展需求，更多的創新技術需要融合到整個產業的進步當中。
四、集成優化
集成優化是指對數據中心五層架構的統一調度，其中尤為重要的是風火水電和IT軟件硬件資源之間的優化。
首先，利用邏輯池化技術將供電設備、製冷設備通過統一平臺進行資源池化，形成L1層的供電資源池與製冷資源池；然後將數據中心內服務器中的CPU、內存以及網絡資源虛擬化，形成計算資源池、內存資源池、網絡資源池，實現不同類型資源的解耦。在虛擬化的同時也需要建立不同資源池之間資源的關係映射表，以確定不同資源池內資源是否同屬一臺物理機，為後續虛擬機組裝和資源的調度利用提供便利與支撐。
在虛擬化解耦的基礎上，根據數據中心業務對資源的需求，將不同資源池內的資源按需組合為虛擬機，以滿足任務對計算、存儲等資源的需求，滿足計算存儲資源對供電製冷資源的需求。不同資源池內資源的組合受限於數據中心內服務器的物理結構，在組裝虛擬機的過程中，要根據事先建立的映射關係表選取同一臺服務器上的不同資源，如CPU、內存、硬盤以組合成為符合任務計算存儲需求的虛擬機，從而儘量避免因虛擬機跨物理服務器而產生的額外計算、傳輸開銷。
（一）基礎設施層
供電資源和製冷資源的統一管理聯動可以綜合考慮以下因素進行優化。首先是業務邏輯和對計算的特定需求，以及用戶接受的最優成本模型。其次是管控平臺提供隔離，保證良好的多業務複用性以及規模可擴展性。同時管控平臺提供智能異常診斷、隔離和恢復。第三，供配電和製冷資源本地採集硬件、業務和OS數據，通過智能算法引擎自適應找到最優的硬件配置方案，達到最優的供配電和製冷效率。
同時，基礎設施層的優化需要把全局最優的策略輸入到服務器本地算法引擎，引導供配電和製冷系統的配置達到最優，引導服務器配置硬件達到全局最優。數據中心的基線配置達到平均最優或者準最優，同時提供足夠的彈性和可控性，把環境因素、負載變化和成本模型都考慮進行，將能更好地實現基礎設施層的集成優化和配置，更好地滿足IT硬件資源的運行和算力的釋放。
（二）硬件資源層
在硬件資源層，面臨的是需求多樣化的問題，不同的業務對硬件IO性能要求，對設備配置配比要求都不一樣，因此要求硬件設備具備可編程能力，這樣才能滿足多元化資源的敏捷交付，白盒交換機、OTII和天蠍3.0的工作方向基本如此。
（1）白盒交換機
傳統的交換機來自於各個具體的品牌，他們都有各自的技術規範和操作系統。在資源池化的場景下，傳統的交換機管理方式會帶來很大的麻煩，交換機需要有統一的硬件平臺和操作系統，這對於網絡層面的運維管理的便捷性和整套系統的穩定性是具有非常大益處的。目前來看，不管是微軟的SONiC（Software for Open Networking in the Cloud）系統還是我國的鳳凰系統，它們的特性還不是那麼的完善，但是對於那些需要特性不是特別多的互聯網用戶來說，夠用就好，系統的簡潔可控更加重要。因此，未來一段時間內，白盒交換機+開源操作系統模式會得到更快的發展。這將成為網絡資源集成優化的基礎。
（2）OTII
OTII（Open Telcom IT Infrastructure），是由中國移動聯合中國電信、中國聯通、中國信通院和Intel共同發起的開放服務器項目，目標是形成運營商行業面向電信應用的深度定製、開放標準、統一規範的服務器技術方案及原型產品。
目前來看，邊緣機房的數據中心化重構是運營商的一項重要工作。此前，一般的思路是讓邊緣機房的環境適配現有的標準服務器設備，但在這個過程中為了滿足服務器的承重、配電以及溼度、溫度等環境要求，需要在邊緣機房的改造上下很大的成本。因此，OTII項目換了一個思路，研發具有運營商特色的服務器設備，來適配現有的機房。目前，該項目已經取得了很大的進展。
（3）天蠍3.0
在天蠍項目（整機櫃服務器）的基礎之上，2015年3月成立了天蠍3.0項目，經過需求研討之後確定了天蠍3.0的概念原型、技術方向和項目路標。在2018年10月的開放數據中心峰會上，該項目組展示了天蠍3.0T-Flex的原型系統。已經形成的天蠍3.0概念原型中，高速緩存、存儲設備（SSD/HDD）、網絡IO（NIC）、異構計算（GPU/FPGA）等外圍設備將從傳統服務器階段中解耦出來，形成獨立的共享資源池。根據行業的成熟度和技術的發展趨勢，天蠍3.0項目先從存儲池化開始，逐步實現網絡IO池化、異構計算池化和高速緩存池化。
（三）軟件資源層
軟件資源層除了上面說的交換機操作系統，還有服務器方面的CentOS等。從服務器市場看來， 開放平臺已成為主流，Linux或Windows操作系統不必依賴於任何硬件設備，不論是x86平臺、ARM平臺、Power平臺或是基於其他的處理器的平臺，都可以直接安裝和使用Linux或Windows；對於硬件設備來講，不論是哪家設備商的服務器還是白牌的服務器，都可以安裝各種Linux操作系統、Windows操作系統或者其他的操作系統。在服務器的產品方面已經實現了軟件和硬件的解耦、軟件和軟件廠商的解耦、硬件和硬件廠商的解耦，形成了一個開放的生態，這將非常有利於之後的服務器和網絡的統一管理和資源調度。
五、發展趨勢
（一）雲數據中心
有研究顯示，到2021年，數據中心內部85%的流量將是東西向流量。通常說的雲數據中心，基本上還是指單個數據中心或者數據中心內部部分設備的雲化。但其實發展到一定階段，雲數據中心應該是指多個數據中心之間的雲化，數據中心提供的IaaS服務是一個單獨而又完整的數據中心的雲。
目前來看，金融業通常進行的同城災備或者異地災備已經有了數據中心雲的雛形，但更多部署的是1+1的形式，多個數據中心之間的網絡鏈路的性能和穩定可靠性至關重要。事實上，即使是規模很大的數據中心，如果其網絡無法與其他數據中心和廣域網建立持續可靠的連接，無法保證更高的性能。Leaf-Spine架構正在使數據中心的網絡體系結構更加扁平化、軟件定義網絡在將數據中心流量的控制和轉發分離，網絡功能虛擬化在虛擬化各種網絡元素。特別是近來被廣為研究的軟件定義廣域網（SD WAN），通過它能夠在多種連接之間動態選擇鏈路，以達到負載均衡或者資源彈性，實現多條WAN路徑的選擇規劃。從網絡與業務發展的同步性來看，隨著SD WAN的不斷髮展，將能更好地支撐數據中心雲的落地。
（二）邊緣節點
邊緣節點將是未來數據中心體系內的重要一員，成為最靠近應用的支撐邊緣計算的先鋒部隊。把大量的算力部署在邊緣，對業務的體驗將會極大的提高，對核心網絡的壓力將會減小。邊緣計算的協議棧是當前很多互聯網公司發力的重點，大量美國公司如英特爾、諾基亞、愛立信、風河、戴爾等都在Linux基金會做同樣的事情。國內BAT都有各自的開源邊緣計算平臺，例如百度的OpenEdge，可將雲計算能力拓展至用戶現場，提供臨時離線、低延時的計算服務，包括設備接入、消息路由、消息遠程同步、函數計算等功能。
不過在邊緣計算髮展的過程中，也不得不面對它所帶來的一系列問題。首先是用戶隱私，一些邊緣設備的出現，如智能音箱、智能空調和智能電視，包含關於用戶個人使用設備的大量信息。這些信息如果沒有得到適當的保護，很可能會導致消費者隱私被洩露。其次是存儲容量，由於邊緣設備可能產生的數據量非常大，將增加對存儲容量的需求。這種存儲容量的需求將影響現有的存儲和網絡架構。是邊緣計算+集中存儲還是邊緣計算+存儲，這是一個需要進一步探討的問題。
（三）超算中心
2018年11月，上海市人民政府辦公廳發佈的“《上海市推進新一代信息基礎設施建設助力提升城市能級和核心競爭力三年行動計劃（2018—2020年）》”中提到，創建存算一體的數據中心資源高地。數據中心與超算中心實現規模發展、存算均衡、空間集聚、節能降耗。存算一體是一個非常貼切的詞彙，既有存又有算，這樣才能從根本上稱之為上層應用的發展。
通常感覺超算與人們的生活離得比較遠，其實超算中心在人們的生活中發揮著重要作用，超算中心所提供的化學計算、生物計算、電磁學、工業仿真、流體計算、動畫渲染、建築設計、數學計算、氣象預報、材料模擬、固體力學、大數據分析挖掘等領域的軟件平臺為政務、健康、教育、工業、氣象、警務等提供了眾多的服務。跟雲計算數據中心不同的是，超算中心做著更加專業和集中的工作。但是從技術層面來說，超算中心和數據中心的融合是一個不可避免的發展趨勢。由於計算的高密度，超算所使用的液冷等先進技術已經慢慢滲透到傳統的數據中心領域。
六、結束語
有關數據顯示，2017年我國IDC全行業總收入達到650.4億元左右，2012—2017年複合增長率為32%，持續保持快速增長勢頭。數據中心產業的發展，未來將向規模化、集約化和綠色化發展。數據中心的五層架構之間並不是獨立存在的，它們之間的集成優化對於數據中心的高能效運行將具有非常重要的意義。未來，邊緣數據中心和超算中心也將從靠近用戶和服務民生的角度更多地支撐社會的發展，實現信息基礎設施更大的社會價值。
作者簡介
郭 亮
中國信息通信研究院雲計算與大數據研究所數據中心部副主任，高級工程師。開放數據中心委員會（ODCC）新技術與測試工作組組長。
錢聲攀
中國電力科學研究院有限公司信通所分析評估室業務主管，高級工程師。致力於國家電網公司高效能數據中心方向的研究工作。
本文刊於《信息通信技術與政策》2019年第2期
《信息通信技術與政策》
由工業和信息化部主管、中國信息通信研究院於1975年主辦的《電信網技術》（月刊）自2018年3月正式更名為《信息通信技術與政策》。《信息通信技術與政策》刊載內容在覆蓋傳統電信領域的基礎上向信息、通信和ICT領域延伸。本刊物重點解讀行業政策、標準，報道國家重大科研項目成果及業內最新最熱產品與技術解決方案。
主要欄目：專題、專家論壇、產業與政策、發展策略、泰爾檢測、產品與技術方案。
投稿郵箱：[email protected]
校 審 | 陳 力、 珊 珊
編 輯 | 凌 霄
”
推薦閱讀
數字調製EVM定義不一致性問題及解決方案
分佈式事務數據庫系統評估體系
