微秒級數據處理,華為雲存儲的“快”節奏

“以前(人家總以為)我們自己寫膠片吹吹牛,現在不用吹,大家都知道我們是真牛了”,華為公司副總裁、華為雲業務總裁鄭葉來在日前成都舉行的“成都·選擇不凡 華為雲城市峰會2019”上表示。

微秒級數據處理,華為雲存儲的“快”節奏

華為公司副總裁、華為雲業務總裁鄭葉來

就在這次大會上,華為也發佈了雲存儲All-Flash戰略,並推出戰略落地的首個產品——全新一代極速IO雲硬盤,這標誌著華為推動著雲存儲正式從毫秒走向微秒時代。

微秒級數據處理,華為雲存儲的“快”節奏

微秒這個名詞,相信大多數人都沒有什麼概念。長久以來,受限於網絡和存儲的因素,微秒級時延或者響應時間在實際應用中是可望不可及。但是,伴隨著5G等新興技術的發展,越來越多的智能化應用都開始湧現出來——比如今年3月,中國人民解放軍總醫院的醫生就在遠隔3000公里外操作手術器械,完成全國首例基於5G的遠程帕金森病“腦起搏器”植入手術。

這項成就得益於5G網絡高速率、大帶寬、低時延特性。既然網絡已經能夠提供微秒級的應用,那麼對於存儲介質來說也必須迎合這種發展趨勢,才能夠最大限度地發揮系統效能。於是,才有了剛剛我們介紹的華為雲存儲All-Flash戰略,它的出現將傳統意義上的“慢車”——存儲和網絡大大提速,並與計算一起,構成了數據處理邁向智能時代的“三駕馬車”。

微秒級數據處理,華為雲存儲的“快”節奏

“從毫秒進入微秒時代,數據中心客戶主要面臨兩大時延瓶頸:一方面是傳統軟硬件協同,特別是網絡傳輸的時延瓶頸;另一方面則是傳統HDD介質的物理能力瓶頸。”華為雲CTO張宇昕介紹道。“在我們印象中,網絡時延一直是數據處理能力的“硬傷”,這期間哪怕是瞬間的等待也會帶來糟糕的體驗。另一方面,HDD存儲介質的發展的確遇到了越來越多的問題。如今伴隨著16TB容量硬盤的出現,HDD的響應時間依然是大眾吐槽的重點。”

面對大量客戶的需求與痛點,華為雲也從多個層面著手解決。針對系統層級的時延,華為雲通過軟硬件架構和數據中心架構的優化,實現了極簡網絡,也實現了多核免鎖併發,使得軟件的時延和網絡的時延降到了極低。所以整個數據處理IO從進來到出去,能實現50μs -100μs的穩定時延。而關於存儲介質時延問題,華為雲採用Flash替代掉了HDD,將介質時延從原本四毫秒左右縮短到幾十微秒的級別。

當然這並不是簡單的替換就可以的。俗話說好馬配好鞍,有了高速Flash介質,還需要對軟件進行優化才能讓介質性能得到最大限度的發揮。同時,儘可能的降低時延,達到與網絡時延的一致性,需要徹底解決硬件層面的瓶頸問題。

微秒級數據處理,華為雲存儲的“快”節奏

“傳統硬盤是物理盤片,在提供算法的時候需要考慮到大圈小圈的問題,所以之前的算法都是對於物理磁頭的讀寫性能進行優化,隨機讀寫方面的性能就明顯低得多。”張宇昕說,“更換為Flash介質之後就完全不存在這種問題,隨機讀寫的性能表現非常不錯。但是對於Flash來說,我們需要保證不在某一個位置持續、頻繁地讀寫,所以在算法上也要進行調整。”而對於這一點,華為雲的工程師們進行了大量、複雜的算法優化工作,在提升性能、降低時延的同時,也保證了Flash介質的壽命和應用可靠性。

我們正處於數據爆炸的時代,在邁向智能化的道路上,數據成為了我們賴以生存的“食糧”,而掌握了數據應用,就能掌握未來的智能時代。據華為全球產業展望(GIV)報告預計,2025年的全球年數據增量將提升至180ZB,但是,目前企業數據利用率卻只有10%,數據價值沒有得到充分釋放。而如果想讓數據發揮價值,則需要從多個方面採取措施,為此華為本次也帶來了全新的“數據底座”概念。

微秒級數據處理,華為雲存儲的“快”節奏

華為雲指出,制約雲計算為智能時代更好地服務的瓶頸就在“最後一公里”。在雲端,“最後一公里”就是數據通過服務端軟件、網絡、存儲服務器,最終抵達介質的這一過程。

為了實現“最後一公里”的百微秒級突破,華為雲從存儲引擎到架構,從自研芯片到算法優化,再到最終的AI加持,進行了大量的工作。這其中,AI應用是最引人期待的內容,也是華為雲存儲得以持續發展的源動力之一。按照張宇昕的話說,華為雲存儲可以做到“越用越快”,也成為了重續“摩爾定律”的重要保障。那麼問題來了,我們遇到的許多電子設備都是越用越慢的,為什麼華為雲能夠反其道而行之?

“越用越慢”這種事兒,大家在日常都有深刻的體會。比方說,剛買來的手機向來是響應快速、運行如飛。但是過了幾個月之後,隨著系統垃圾越來越多,手機運行速度便會下降,就需要不斷地清理和優化,但是這也只是緩兵之計。等過了一年之後,手機就會變得卡頓,點開一個APP都要等幾秒鐘,嚴重影響用戶體驗。其實也不僅僅是手機,所有的電子產品都會有類似的問題。按照“摩爾定律”的說法,每18個月系統性能提升一倍,老系統自然也就越來越跟不上時代了。

微秒級數據處理,華為雲存儲的“快”節奏

但是基於AI的華為雲存儲正在解決這個問題。“在雲端,伴隨著用戶越來越多,雲的業務負載越來越高,資源的爭搶也就越發明顯。雲服務商可以通過好的資源規劃,通過運維人員及時響應客戶需求,去調整、優化配置,但這一過程畢竟需要一定的響應時間。如今藉助於人工智能,華為雲存儲可以在很大程度上實現系統自動化感知和調整,而不是通過人工干預。這樣華為雲存儲就可以做到通過快速調整系統來響應客戶的需求。”張宇昕表示。

很明顯,張宇昕所希望的,就是藉助於AI算法實現資源的自動調度,儘可能降低時延和性能損耗,並在條件允許的情況下實現“越用越快”的效果。在實現這一點之後,華為雲存儲也從技術層面保證了系統性能的最大化,讓每一款硬件產品的性能得到儘可能的發揮,最終“逼近介質能力的極限”。

微秒級數據處理,華為雲存儲的“快”節奏

微秒級響應,聽起來似乎有些超前,但正如張宇昕在演講中提到,萬物感知、萬物智能、萬物互聯的時代已經到來,為加速各項依託雲計算的創新產業發展、滿足各類新興應用對數據實時性的訴求,華為雲將持續創新,打造出全新一代智能數據底座,最終引領雲上存儲進入微秒時代。

相關推薦

推薦中...