- 全面兼容TensorFlow、Caffe和MXNet深度學習框架； -集成100餘種算法組件。 -- 阿里雲
作者： 阿里雲
全面兼容TensorFlow、Caffe和MXNet深度學習框架
集成100餘種算法組件
阿里“NASA”計劃發佈了首個重磅武器。
3 月 29 日，阿里雲在雲棲大會深圳峰會上正式發佈機器學習平臺 PAI 2.0。相比 1.0 版本，PAI 2.0 有多項重大更新，除增加了 100 餘種算法外，更重要的是對主流深度學習框架 TensorFlow、Caffe 和 MXNet 的全面兼容。
3 月初，阿里巴巴董事局主席馬雲宣佈啟動內部代號為“NASA”的計劃，機器學習、芯片、IoT、操作系統、生物識別被明確提及，智能化的產業基礎和應用被放在了突出位置。
兩年前，阿里雲對外發布國內首個機器學習平臺 PAI。此次版本的重大升級，標誌著阿里雲在構建 AI 核心技術能力上又進一步。據悉，阿里“NASA”計劃將為 PAI 平臺使用者提供強大的技術後盾。
此次PAI2.0的重大升級主要包括以下方面：
1、全面擁抱開源
PAI 2.0 編程接口完全兼容深度學習框架：Tensorflow、Caffe 以及 MXNet，用戶只需要將自己本地編寫的代碼文件上傳至雲端就可以執行。
Tensorflow、Caffe 和 MXNet 是目前全球主流的深度學習開源框架。Tensorflow 開源算法和模型最豐富；Caffe 是經典的圖形領域框架，使用簡單；MXNet 分佈式性能優異。
對於底層計算資源，PAI 2.0 提供了強大的雲端異構計算資源，包含 CPU、GPU、FPGA。在 GPU 方面，PAI 2.0 可以靈活實現多卡調度。
藉助這些框架以及強大的計算資源，用戶能非常方便地就可以將計算任務下發到對應的分佈式計算機群上，實現深度學習模型訓練與預測。
2、更豐富的算法庫
PAI 2.0 提供 100 餘種算法組件，涵蓋了分類、迴歸、聚類等常用場景，還針對主流的算法應用場景，提供了偏向業務的算法，包含文本分析、關係分析、推薦 3 種類別。
“算法全部脫胎於阿里巴巴集團內部的業務實踐，所有算法都經歷過 PB 級數據和複雜業務場景的錘鍊，具備成熟穩定的特點”，阿里雲首席科學家周靖人說。
3、支持更大規模的數據訓練
PAI 2.0 新增了參數服務器Parameter Server架構的算法。不僅能進行數據並行，同時還可將模型分片，把大的模型分為多個子集，每個參數服務器只存一個子集，全部的參數服務器聚合在一起拼湊成一個完整的模型。
其創新點還在於失敗重試的功能。在分佈式系統上，成百上千個節點協同工作時，經常會出現一個或幾個節點掛掉的情況，如果沒有失敗重試機制，任務就會有一定的機率失敗，需要重新提交任務到集群調度。PS 算法支持千億特徵、萬億模型和萬億樣本直至 PB 級的數據訓練，適合於電商、廣告等數據規模巨大的推薦場景。
阿里雲首席科學家周靖人說，在過去的一年時間裡我們協助客戶落地了多項重大的人工智能應用。但人工智能要想真正成為成為普惠科技，需要一款更加通用的生產工具。PAI 2.0 正是為此而生。
人工智能綜合了多門學科的技術，對人才要求極其高，除了懂統計學中各種複雜的機器學習算法，還要懂實現邏輯以及分佈式架構理論。PAI 可以大幅的降低人工智能的門檻以及開發成本。
從操作界面來看，PAI 沒有繁瑣的公式和複雜的代碼邏輯，用戶看到的是各種分門別類被封裝好的算法組件。每一個實驗步驟都提供可視化的監控頁面。在深度學習黑箱透明化方面，PAI 也同時集成了各種可視化工具。
PAI 的基礎設施和計算框架建立在阿里雲飛天計算平臺之上，通過雲的模式大幅降低了計算成本，支持 MR、SQL、MPI、PS、GRAPH 等多種分佈式計算框架，對於底層的 CPU 和 GPU 計算機群可以靈活調用。
兩年時間裡，PAI 在阿里巴巴內部已經被廣泛使用。以淘寶搜索為例，搜索結果會基於商品和用戶的特徵進行排序。通過使用參數服務器，淘寶可以把百億個特徵的模型，分散到數十個乃至於上百個參數服務器上，打破了規模的瓶頸。
PAI 還被應用在各種前沿科技領域。華大基因聯合阿里雲科學家，正使用 PAI 對肺腺癌患者基因進行分析，試圖尋找到導致肺腺癌病發的關鍵基因突變。
相關推薦
