'融合數據管理與分析平臺,軟硬結合推進“智能+”時代'

"
"
融合數據管理與分析平臺,軟硬結合推進“智能+”時代

過去十年,全球的數據量呈爆發式增長;到2025年,每年將生成超過175 ZB的數據,相比2018年,增加可達近三分之二。這是一份2019年6月發佈的行業調查結果所顯示的,這份由雲數據管理備份廠商Veeam所組織的全球CXO調研中,73%的組織承認無法滿足用戶對不間斷訪問數據和服務的需求,這將會給企業每年造成2000萬美元的損失。

如今,隨著全球數據量的爆發而“水漲船高”,單一企業或機構的數據規模已經由以前的GB級上升到TB級甚至PB、EB級,文本數據、圖像數據、語音數據、視頻數據等半結構化或非結構化數據佔比越來越大,手機、汽車、智能音箱、各種傳感器等數據源日益豐富,而需要秒級或毫秒級響應的實時數據正在成為企業數據的重要管理對象。

在從“互聯網+”到“智能+”推進的過程中,如何將各類數據與實體經濟深度融合並通過數據分析作用於實體經濟,已經成為了企業數字化轉型的重大挑戰。中國信息通信研究院的《數據資產管理實踐白皮書(4.0版)》指出,當前的企業數據資產對數據處理架構提出了更新換代的要求:底層架構向雲平臺和分佈式系統遷移;數據預處理從傳統的ETL抽取、清洗和加載到數據倉庫,轉向隨時從數據湖中抽取原始數據進行建模分析。

從MPP大規模數據倉庫到高性能計算、人工智能和機器學習建模,一個軟硬結合的融合數據管理與分析平臺正在成為“智能+”的入場券。這也是為什麼英特爾自2013年開始就提出“以數據為中心”的戰略,特別是英特爾至強可擴展平臺內置人工智能加速並已針對工作負載進行優化,在以數據為中心的時代提供了多雲與智能邊緣之間無障礙性能切換的基礎,搭載第二代英特爾至強可擴展處理器,更將性能的一致性、普遍性和突破性提升到了新高度。

結構化數據處理為根本

對於實體經濟來說,結構化數據仍然是根本。典型的結構化數據包括銀行與電信交易數據、來自傳統數據中心的交易數據、管理數據、財務數據、基礎信息數據,以及來自新興的物聯網數據和互聯網數據等。這些海量的結構化數據承載著實體經濟的關鍵信息,提升數據庫的處理性能對於保障關鍵業務、挖掘數據價值,有著至關重要的作用。

海量數據給數據處理帶來了沉重的性能壓力,對數據庫技術的持續創新提出新要求。隨著數字化轉型的深度推進,金融、電信、能源、政府等行業存儲的數據量呈現快速增長的趨勢,從這些海量數據中挖掘數據價值成為數字化建設的重要方向。天津南大通用數據技術股份有限公司(以下簡稱:南大通用)是領先的國產數據庫技術供應商,由南大通用開發的GBase 8a MPP Cluster以獨特的扁平架構、高可用性和動態擴展能力,為超大型數據管理提供了一個高性價比的大規模分佈式並行數據庫管理解決方案。

對於結構化數據的處理,GBase 8a MPP Cluster在性能方面相較傳統數據庫有突出優勢,能夠支持從數TB到數十PB的數據集,並支持300以上用戶同時併發,IO等待時間最少只有傳統數據庫的10%,數據分析速度可以比普通數據庫提高10倍以上。GBase 8a MPP Cluster可以用於滿足金融、電信、能源、政府、物聯網等數據密集型行業對結構化數據處理的需求,能夠支撐數據查詢、數據統計、數據分析、數據挖掘和數據備份等應用,同時還可用做數據倉庫系統、BI系統和決策支持系統的承載數據庫。

而結合了英特爾至強可擴展處理器、英特爾固態盤D3-S4510系列、英特爾以太網適配器 X710-DA2後,能夠顯著提升GBase 8a MPP Cluster的性能表現,全面滿足數據密集型行業對於大數據分析的需求,幫助行業用戶快速部署高性能的GBase 8a MPP Cluster分佈式分析型數據庫系統。例如,針對峰值需求,英特爾睿頻加速技術可使處理器超出基本工作頻率運行,加速處理器和圖形性能,輕鬆應對峰值負載。

人工智能和高性能計算為創新

有了大規模分佈式並行數據倉庫處理海量的結構化數據,企業還需要在同一平臺上處理各類非結構化數據,並應用人工智能和高性能數據分析等,為企業業務創新打開新的空間。過去,企業採用不同的架構處理高性能計算與人工智能計算,而現在的技術進展而讓企業可以統一融合處理不同類型的數據和計算。

高性能計算集群是為人工智能(包括機器學習和深度學習)和高性能數據分析等領域內的嚴苛工作負載提供大規模計算資源的理想平臺——這些工作負載都有著相似的需求,即在與高性能網絡結構關聯的強大計算內核上高效運行以及高性能共享儲存。隨著企業和學術機構必須支持不斷增長且日趨複雜的人工智能和數據分析工作負載,就催生了採用高性能計算基礎設施運行這些工作負載的需求。

而若要將多種類型的工作負載聚集到單個集群基礎設施,就會導致資源管理、網絡使用和存儲使用等領域面臨多重挑戰。從根本上來說,這些挑戰源自於每種類型工作負載的資源管理器在設計之初並沒有考慮彼此之間的互操作性。但例如在計算機視覺等需要深度學習網絡基礎設施的應用領域,其實並不需要全天運行這些工作負載,這意味著專用基礎設施經常處於空閒狀態,可能會給組織帶來高昂的成本。與用高昂的專用硬件專用環境相比,採用基於英特爾架構的通用服務器構建而成的共享集群,要更加高效得多。

越來越多的企業和機構開始在融合集群上運行仿真和建模、人工智能與數據分析的工作負載。英特爾正在開發功能和解決方案架構,希望能夠在不干擾生產應用和工作負載的同時,幫助簡化工作流程。第二代英特爾至強可擴展處理器旨在實現跨工作負載的更可靠計算集群,包括:先進的高性能計算性能,在一項近期的測試中,與3年機齡的系統相比,基於第二代英特爾至強可擴展處理器的平臺在高性能計算CPU基準測試中可使平均性能提高多達3.7倍,而與競爭處理器相比則在LINPACK CPU基準測試中可將性能提升高達5.8倍;改進的人工智能推理,測試顯示,與競爭處理器相比,集成了英特爾深度學習加速的第二代英特爾至強可擴展處理器可使圖像分類推理性能提升高達25倍;可通過英特爾傲騰數據中心級持久內存提升工作負載性能,藉助該創新的內存技術可以將更大量的數據移到更接近處理器的位置,企業組織可快速地、大規模地處理數據密集型高性能計算和人工智能工作負載。

英特爾和軟件生態系統成員的研發工作正幫助越來越多的組織將仿真和建模、人工智能和數據分析工作負載成功融合到單個基礎設施上,以更低成本、更高效率、更易管理來實現智能助手、聊天機器人、增強診斷、藥物開發、智慧城市、自動駕駛等人工智能與高性能計算場景。例如,英特爾與谷歌建立了長期聯合研發合作,共同優化TensorFlow。

計算、內存、網絡和存儲性能增強後的融合,再加上軟件生態系統的優化,使英特爾至強可擴展處理器成為全面虛擬化的軟件定義數據中心的理想平臺,無論是在內部部署、通過網絡部署還是在公有云中部署,數據中心都能根據工作負載的需求,動態地自動配置資源。 由於無需構建和運行多個集群,融合可顯著減少數據中心的資本支出。而搭載集成式英特爾QAT和英特爾PlatformTrust技術的英特爾密鑰保護技術,可通過在空閒、使用中、忙碌三種狀態下提供高效的密鑰和數據保護,從硬件層面增強平臺的安全性。

隨著越來越多的數據密集型工作負載流經企業數據中心,英特爾全套硬件增強型功能可為企業和雲環境提供更好的數據和平臺級保護機制,而與軟件合作伙伴合作的各類數據管理與分析解決方案,將可實現軟硬一體融合數據管理與分析,為企業帶來可信的“智能+”服務,推進“智能+”時代的全面到來。(文/寧川)

"

相關推薦

推薦中...