於 80 多年前提出確立的馮諾依曼架構至今還在統治現有的計算機。但是，隨著機器學習等 AI 技術的發展，由於存算分離的“馮諾依曼瓶頸”的存在，這個經典計算機體系結構，已經愈發難以滿足機器學習的計算需求。
近日，在接受DeepTech 採訪時，第四範式硬件業務部門負責人蔡斯揚告訴 DeepTech：“從整個學界和產業界來看，目前 AI 進一步發展的公認問題、同時也是最有挑戰的部分，在於計算機體系架構”。
作為 AI 發展的“三駕馬車”（數據、算法、算力）之一，未來算力的進一步發展受到了 X86、馮·諾伊曼計算機體系的制約，革新計算機系統架構的時機正在成熟。“第四範式當前正在與英特爾就如何突破制約計算力發展的瓶頸展開深入探討，雙方希望通過軟硬件的最優化結合，打造領先的 AI 技術架構和算力。” 蔡斯揚說。
有越來越多的學者表態稱，體系結構創新將是信息科學技術領域幾十年來的核心命題，甚至將帶來下一個“黃金時代”。這意味著，新的算力基礎設施，一定是考慮在架構級別而非晶體管級別來進一步突破摩爾定律。
於 80 多年前提出確立的馮諾依曼架構至今還在統治現有的計算機。但是，隨著機器學習等 AI 技術的發展，由於存算分離的“馮諾依曼瓶頸”的存在，這個經典計算機體系結構，已經愈發難以滿足機器學習的計算需求。
近日，在接受DeepTech 採訪時，第四範式硬件業務部門負責人蔡斯揚告訴 DeepTech：“從整個學界和產業界來看，目前 AI 進一步發展的公認問題、同時也是最有挑戰的部分，在於計算機體系架構”。
作為 AI 發展的“三駕馬車”（數據、算法、算力）之一，未來算力的進一步發展受到了 X86、馮·諾伊曼計算機體系的制約，革新計算機系統架構的時機正在成熟。“第四範式當前正在與英特爾就如何突破制約計算力發展的瓶頸展開深入探討，雙方希望通過軟硬件的最優化結合，打造領先的 AI 技術架構和算力。” 蔡斯揚說。
有越來越多的學者表態稱，體系結構創新將是信息科學技術領域幾十年來的核心命題，甚至將帶來下一個“黃金時代”。這意味著，新的算力基礎設施，一定是考慮在架構級別而非晶體管級別來進一步突破摩爾定律。
圖丨“天機”芯片（來源：Nature）
目前，業內在探索非馮諾依曼計算架構上也已經取得了一些進展，例如發展邏輯計算與數據存儲一體化的 AI 芯片、類腦芯片（如不久前清華髮佈於 Nature 的“天機”芯片），也有越來越多的非馮諾依曼計算機正在全球各大科技企業前沿實驗室中醞釀，如光子計算機、量子計算機、神經計算機以及 DNA 計算機等。
美國國防高級研究計劃署（DARPA）於 2017 年實施的“電子復興計劃”，同樣在關注非馮諾依曼架構的新型處理器及其配套的軟件工具的開發。在國內，國家自然科學基金設立的“企業創新發展聯合基金”中，也在 2019 年將人工智能領域針對非馮諾依曼的存算一體研究方向列入其中。
在這股新浪潮之下，蔡斯揚對 DeepTech 介紹道，以第四範式為企業提供 AI 專用算力的自身實踐來看，他們從 3 個方向切入，希望能夠給馮·諾伊曼體系和給整個計算機算力瓶頸帶來新的突破。
首先是"軟件定義算力"，面向 AI 的核心軟件主要來自於算法，而面向算法優化的異構計算將在未來五年迎來黃金髮展期。
於 80 多年前提出確立的馮諾依曼架構至今還在統治現有的計算機。但是，隨著機器學習等 AI 技術的發展，由於存算分離的“馮諾依曼瓶頸”的存在，這個經典計算機體系結構，已經愈發難以滿足機器學習的計算需求。
近日，在接受DeepTech 採訪時，第四範式硬件業務部門負責人蔡斯揚告訴 DeepTech：“從整個學界和產業界來看，目前 AI 進一步發展的公認問題、同時也是最有挑戰的部分，在於計算機體系架構”。
作為 AI 發展的“三駕馬車”（數據、算法、算力）之一，未來算力的進一步發展受到了 X86、馮·諾伊曼計算機體系的制約，革新計算機系統架構的時機正在成熟。“第四範式當前正在與英特爾就如何突破制約計算力發展的瓶頸展開深入探討，雙方希望通過軟硬件的最優化結合，打造領先的 AI 技術架構和算力。” 蔡斯揚說。
有越來越多的學者表態稱，體系結構創新將是信息科學技術領域幾十年來的核心命題，甚至將帶來下一個“黃金時代”。這意味著，新的算力基礎設施，一定是考慮在架構級別而非晶體管級別來進一步突破摩爾定律。
圖丨“天機”芯片（來源：Nature）
目前，業內在探索非馮諾依曼計算架構上也已經取得了一些進展，例如發展邏輯計算與數據存儲一體化的 AI 芯片、類腦芯片（如不久前清華髮佈於 Nature 的“天機”芯片），也有越來越多的非馮諾依曼計算機正在全球各大科技企業前沿實驗室中醞釀，如光子計算機、量子計算機、神經計算機以及 DNA 計算機等。
美國國防高級研究計劃署（DARPA）於 2017 年實施的“電子復興計劃”，同樣在關注非馮諾依曼架構的新型處理器及其配套的軟件工具的開發。在國內，國家自然科學基金設立的“企業創新發展聯合基金”中，也在 2019 年將人工智能領域針對非馮諾依曼的存算一體研究方向列入其中。
在這股新浪潮之下，蔡斯揚對 DeepTech 介紹道，以第四範式為企業提供 AI 專用算力的自身實踐來看，他們從 3 個方向切入，希望能夠給馮·諾伊曼體系和給整個計算機算力瓶頸帶來新的突破。
首先是"軟件定義算力"，面向 AI 的核心軟件主要來自於算法，而面向算法優化的異構計算將在未來五年迎來黃金髮展期。
（來源：阿里巴巴）
在異構計算中，目前 AI 芯片霸主 GPU 還只是異構計算中的一種，現在市場上已經有 NPU、ASIC、FPGA 等各種各樣的計算平臺被運用到AI計算中。之所以會出現這麼多各種形式的 AI 芯片，正是因為算法的多元化，例如機器學習算法有 LR、GBDT，深度學習中的 CNN、DNN 等，這些算法都非常複雜，如果機器要很快地把這些算法跑起來，一定需要算法的邏輯跟芯片計算的邏輯相互匹配度高，效率好。
具體的實現上，產業鏈上不同廠商合作共同實現軟硬件協同創新成為新範式。以英特爾和第四範式的合作為例，英特爾的產品從 SkyLake 演進到第二代至強可擴展處理器 Cascade Lake，整數運算、浮點運算均得到了 30% 左右的提升，第四範式的 Sageone 系統從 SkyLake 遷移到 Cascade Lake，卻可以實現整個性能綜合提升 4 - 8 倍。
4 - 8 倍提升背後，正是雙方在軟件加硬件的協同創新。“第四範式和英特爾成立了一個聯合實驗室，雙方的合作便在於軟件和硬件的協同優化。因為英特爾有自己的技術路線圖，第四範式有自己的框架路線圖，我們需要在兩者之間找到一個最優化的共同技術路線”，蔡斯揚說。“與此同時，雙方的合作是基於我們對軟件的理解和英特爾對硬件的理解，以及對芯片的理解和體系的理解，實現對 AI 系統的軟硬一體的整體優化。目前，雙方通過第二代至強可擴展處理器、傲騰數據中心級持久內存，去提升 AI 的計算性能、優化仿存和內存容量等，其背後的涉及的技術工作相當複雜。”
於 80 多年前提出確立的馮諾依曼架構至今還在統治現有的計算機。但是，隨著機器學習等 AI 技術的發展，由於存算分離的“馮諾依曼瓶頸”的存在，這個經典計算機體系結構，已經愈發難以滿足機器學習的計算需求。
近日，在接受DeepTech 採訪時，第四範式硬件業務部門負責人蔡斯揚告訴 DeepTech：“從整個學界和產業界來看，目前 AI 進一步發展的公認問題、同時也是最有挑戰的部分，在於計算機體系架構”。
作為 AI 發展的“三駕馬車”（數據、算法、算力）之一，未來算力的進一步發展受到了 X86、馮·諾伊曼計算機體系的制約，革新計算機系統架構的時機正在成熟。“第四範式當前正在與英特爾就如何突破制約計算力發展的瓶頸展開深入探討，雙方希望通過軟硬件的最優化結合，打造領先的 AI 技術架構和算力。” 蔡斯揚說。
有越來越多的學者表態稱，體系結構創新將是信息科學技術領域幾十年來的核心命題，甚至將帶來下一個“黃金時代”。這意味著，新的算力基礎設施，一定是考慮在架構級別而非晶體管級別來進一步突破摩爾定律。
圖丨“天機”芯片（來源：Nature）
目前，業內在探索非馮諾依曼計算架構上也已經取得了一些進展，例如發展邏輯計算與數據存儲一體化的 AI 芯片、類腦芯片（如不久前清華髮佈於 Nature 的“天機”芯片），也有越來越多的非馮諾依曼計算機正在全球各大科技企業前沿實驗室中醞釀，如光子計算機、量子計算機、神經計算機以及 DNA 計算機等。
美國國防高級研究計劃署（DARPA）於 2017 年實施的“電子復興計劃”，同樣在關注非馮諾依曼架構的新型處理器及其配套的軟件工具的開發。在國內，國家自然科學基金設立的“企業創新發展聯合基金”中，也在 2019 年將人工智能領域針對非馮諾依曼的存算一體研究方向列入其中。
在這股新浪潮之下，蔡斯揚對 DeepTech 介紹道，以第四範式為企業提供 AI 專用算力的自身實踐來看，他們從 3 個方向切入，希望能夠給馮·諾伊曼體系和給整個計算機算力瓶頸帶來新的突破。
首先是"軟件定義算力"，面向 AI 的核心軟件主要來自於算法，而面向算法優化的異構計算將在未來五年迎來黃金髮展期。
（來源：阿里巴巴）
在異構計算中，目前 AI 芯片霸主 GPU 還只是異構計算中的一種，現在市場上已經有 NPU、ASIC、FPGA 等各種各樣的計算平臺被運用到AI計算中。之所以會出現這麼多各種形式的 AI 芯片，正是因為算法的多元化，例如機器學習算法有 LR、GBDT，深度學習中的 CNN、DNN 等，這些算法都非常複雜，如果機器要很快地把這些算法跑起來，一定需要算法的邏輯跟芯片計算的邏輯相互匹配度高，效率好。
具體的實現上，產業鏈上不同廠商合作共同實現軟硬件協同創新成為新範式。以英特爾和第四範式的合作為例，英特爾的產品從 SkyLake 演進到第二代至強可擴展處理器 Cascade Lake，整數運算、浮點運算均得到了 30% 左右的提升，第四範式的 Sageone 系統從 SkyLake 遷移到 Cascade Lake，卻可以實現整個性能綜合提升 4 - 8 倍。
4 - 8 倍提升背後，正是雙方在軟件加硬件的協同創新。“第四範式和英特爾成立了一個聯合實驗室，雙方的合作便在於軟件和硬件的協同優化。因為英特爾有自己的技術路線圖，第四範式有自己的框架路線圖，我們需要在兩者之間找到一個最優化的共同技術路線”，蔡斯揚說。“與此同時，雙方的合作是基於我們對軟件的理解和英特爾對硬件的理解，以及對芯片的理解和體系的理解，實現對 AI 系統的軟硬一體的整體優化。目前，雙方通過第二代至強可擴展處理器、傲騰數據中心級持久內存，去提升 AI 的計算性能、優化仿存和內存容量等，其背後的涉及的技術工作相當複雜。”
（來源：東方 IC）
第二個突破口在於數據。他指出，目前許多客戶在進行數字化轉型和AI轉型中最大的瓶頸，是有了算力但是沒有數據，沒有數據便難以建立模型。數據在哪，如何收集，收集之後的數據如何成為機器能看懂的數據，如何存儲數據以保證數據在AI訓練和推理中能夠被快速地使用和調用……這些都是現在數據亟需優化的方向。
其中，統一的 AI 數據治理對企業來說將非常必要，數字化轉型提出的要求之一就是要將歷史的批量數據和線上的流式數據進行同步。只有如此，系統才不會在建模過程中出現數據不同步導致的運行準確性問題。AI的數據治理是要把海量數據統一地匯聚進來，同時以特徵和事件的方式進行歸類和清洗，整個的數據弧構建和傳統的BI有著本質區別，所以這也是未來一個重要的變化點之一。“這裡涉及很多技術細節，所以未來AI的存儲形態會發生一些變化”，他說。
第三個突破口在於網絡。一般認為，網絡和 AI 關係不大，但是第四範式發現，團隊在開發企業級AI集成系統 SageOne 的時候，花了相當長時間在優化網絡。這是因為在機器學習的過程當中，整個 I/O 的交互以及分佈式機器學習跨節點的通訊壓力非常大。
於 80 多年前提出確立的馮諾依曼架構至今還在統治現有的計算機。但是，隨著機器學習等 AI 技術的發展，由於存算分離的“馮諾依曼瓶頸”的存在，這個經典計算機體系結構，已經愈發難以滿足機器學習的計算需求。
近日，在接受DeepTech 採訪時，第四範式硬件業務部門負責人蔡斯揚告訴 DeepTech：“從整個學界和產業界來看，目前 AI 進一步發展的公認問題、同時也是最有挑戰的部分，在於計算機體系架構”。
作為 AI 發展的“三駕馬車”（數據、算法、算力）之一，未來算力的進一步發展受到了 X86、馮·諾伊曼計算機體系的制約，革新計算機系統架構的時機正在成熟。“第四範式當前正在與英特爾就如何突破制約計算力發展的瓶頸展開深入探討，雙方希望通過軟硬件的最優化結合，打造領先的 AI 技術架構和算力。” 蔡斯揚說。
有越來越多的學者表態稱，體系結構創新將是信息科學技術領域幾十年來的核心命題，甚至將帶來下一個“黃金時代”。這意味著，新的算力基礎設施，一定是考慮在架構級別而非晶體管級別來進一步突破摩爾定律。
圖丨“天機”芯片（來源：Nature）
目前，業內在探索非馮諾依曼計算架構上也已經取得了一些進展，例如發展邏輯計算與數據存儲一體化的 AI 芯片、類腦芯片（如不久前清華髮佈於 Nature 的“天機”芯片），也有越來越多的非馮諾依曼計算機正在全球各大科技企業前沿實驗室中醞釀，如光子計算機、量子計算機、神經計算機以及 DNA 計算機等。
美國國防高級研究計劃署（DARPA）於 2017 年實施的“電子復興計劃”，同樣在關注非馮諾依曼架構的新型處理器及其配套的軟件工具的開發。在國內，國家自然科學基金設立的“企業創新發展聯合基金”中，也在 2019 年將人工智能領域針對非馮諾依曼的存算一體研究方向列入其中。
在這股新浪潮之下，蔡斯揚對 DeepTech 介紹道，以第四範式為企業提供 AI 專用算力的自身實踐來看，他們從 3 個方向切入，希望能夠給馮·諾伊曼體系和給整個計算機算力瓶頸帶來新的突破。
首先是"軟件定義算力"，面向 AI 的核心軟件主要來自於算法，而面向算法優化的異構計算將在未來五年迎來黃金髮展期。
（來源：阿里巴巴）
在異構計算中，目前 AI 芯片霸主 GPU 還只是異構計算中的一種，現在市場上已經有 NPU、ASIC、FPGA 等各種各樣的計算平臺被運用到AI計算中。之所以會出現這麼多各種形式的 AI 芯片，正是因為算法的多元化，例如機器學習算法有 LR、GBDT，深度學習中的 CNN、DNN 等，這些算法都非常複雜，如果機器要很快地把這些算法跑起來，一定需要算法的邏輯跟芯片計算的邏輯相互匹配度高，效率好。
具體的實現上，產業鏈上不同廠商合作共同實現軟硬件協同創新成為新範式。以英特爾和第四範式的合作為例，英特爾的產品從 SkyLake 演進到第二代至強可擴展處理器 Cascade Lake，整數運算、浮點運算均得到了 30% 左右的提升，第四範式的 Sageone 系統從 SkyLake 遷移到 Cascade Lake，卻可以實現整個性能綜合提升 4 - 8 倍。
4 - 8 倍提升背後，正是雙方在軟件加硬件的協同創新。“第四範式和英特爾成立了一個聯合實驗室，雙方的合作便在於軟件和硬件的協同優化。因為英特爾有自己的技術路線圖，第四範式有自己的框架路線圖，我們需要在兩者之間找到一個最優化的共同技術路線”，蔡斯揚說。“與此同時，雙方的合作是基於我們對軟件的理解和英特爾對硬件的理解，以及對芯片的理解和體系的理解，實現對 AI 系統的軟硬一體的整體優化。目前，雙方通過第二代至強可擴展處理器、傲騰數據中心級持久內存，去提升 AI 的計算性能、優化仿存和內存容量等，其背後的涉及的技術工作相當複雜。”
（來源：東方 IC）
第二個突破口在於數據。他指出，目前許多客戶在進行數字化轉型和AI轉型中最大的瓶頸，是有了算力但是沒有數據，沒有數據便難以建立模型。數據在哪，如何收集，收集之後的數據如何成為機器能看懂的數據，如何存儲數據以保證數據在AI訓練和推理中能夠被快速地使用和調用……這些都是現在數據亟需優化的方向。
其中，統一的 AI 數據治理對企業來說將非常必要，數字化轉型提出的要求之一就是要將歷史的批量數據和線上的流式數據進行同步。只有如此，系統才不會在建模過程中出現數據不同步導致的運行準確性問題。AI的數據治理是要把海量數據統一地匯聚進來，同時以特徵和事件的方式進行歸類和清洗，整個的數據弧構建和傳統的BI有著本質區別，所以這也是未來一個重要的變化點之一。“這裡涉及很多技術細節，所以未來AI的存儲形態會發生一些變化”，他說。
第三個突破口在於網絡。一般認為，網絡和 AI 關係不大，但是第四範式發現，團隊在開發企業級AI集成系統 SageOne 的時候，花了相當長時間在優化網絡。這是因為在機器學習的過程當中，整個 I/O 的交互以及分佈式機器學習跨節點的通訊壓力非常大。
圖丨第四範式打造的 SageOne 平臺（來源：第四範式）
“從底層的算力開始，AI 的演進和發展有一個明顯的軌跡，那就是伴隨著數據量和計算力的爆發，AI 才在近 5 年得到了蓬勃的發展。目前來看，數據、算力，而非算法的突破，是 AI 最近 5 年在實質性商業價值有突破性進展的根本原因……事實上，儘管不少互聯網、AI 公司都在用包括機器學習在內的AI算法，但這些算法大多數都不是最近5年的技術。驅動這 5 年 AI 蓬勃發展的核心原因，是數據的爆發和算力性價比的提升”，蔡斯揚說。
未來，AI 在算力基礎設施建設、突破計算架構瓶頸上還有很多創新的機會，算力也將是繼續支撐人工智能向前發展的重要一環。由此可以看來，走向非馮諾依曼體系架構變革，將為 AI 推動產業變革提供更為持久的驅動力。