'阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄'

"

乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

"

乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

阿里巴巴,AI開源又有新動作。

這次是人機對話模型ESIM,全稱Enhanced Sequential Inference Model,一種增強序列推斷模型。

阿里介紹稱,自2017年首次提出以來,這一研究已被谷歌、Facebook等在內的研究者在論文中引用200多次,也一度在國際頂級對話系統評測大賽(DSTC7)上獲得雙料冠軍,將人機對話準確率的世界紀錄提升至94.1%。

這一模型的主要應用場景為智能客服、導航軟件、智能音箱等,現在已經被阿里巴巴應用到語音點餐機、地鐵語音售票機、汽車交互系統等應用中。

"

乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

阿里巴巴,AI開源又有新動作。

這次是人機對話模型ESIM,全稱Enhanced Sequential Inference Model,一種增強序列推斷模型。

阿里介紹稱,自2017年首次提出以來,這一研究已被谷歌、Facebook等在內的研究者在論文中引用200多次,也一度在國際頂級對話系統評測大賽(DSTC7)上獲得雙料冠軍,將人機對話準確率的世界紀錄提升至94.1%。

這一模型的主要應用場景為智能客服、導航軟件、智能音箱等,現在已經被阿里巴巴應用到語音點餐機、地鐵語音售票機、汽車交互系統等應用中。

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

開源地址:

https://github.com/alibaba/esim-response-selection

ESIM是什麼?

ESIM首次提出是在2017年,論文的名稱中就給出了直接的介紹:

Enhanced LSTM for Natural Language Inference,應用到自然語言推斷的強化版LSTM。

從論文給出的模型架構圖來看,ESIM模型由三個部分組成(下圖左邊部分是ESIM模型,右側部分表示包含語法分析信息的網絡):輸入編碼(Input Encoding)、局部推斷建模(Local Inference Modeling)和推斷合成(Inference Composition)。


"

乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

阿里巴巴,AI開源又有新動作。

這次是人機對話模型ESIM,全稱Enhanced Sequential Inference Model,一種增強序列推斷模型。

阿里介紹稱,自2017年首次提出以來,這一研究已被谷歌、Facebook等在內的研究者在論文中引用200多次,也一度在國際頂級對話系統評測大賽(DSTC7)上獲得雙料冠軍,將人機對話準確率的世界紀錄提升至94.1%。

這一模型的主要應用場景為智能客服、導航軟件、智能音箱等,現在已經被阿里巴巴應用到語音點餐機、地鐵語音售票機、汽車交互系統等應用中。

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

開源地址:

https://github.com/alibaba/esim-response-selection

ESIM是什麼?

ESIM首次提出是在2017年,論文的名稱中就給出了直接的介紹:

Enhanced LSTM for Natural Language Inference,應用到自然語言推斷的強化版LSTM。

從論文給出的模型架構圖來看,ESIM模型由三個部分組成(下圖左邊部分是ESIM模型,右側部分表示包含語法分析信息的網絡):輸入編碼(Input Encoding)、局部推斷建模(Local Inference Modeling)和推斷合成(Inference Composition)。


阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄


首先,在輸入編碼階段,輸入前提(Premise)和假設(Hypothesis)。在這一部分,BiLSTM學習如何表示一個單詞及其上下文。

其次,在局部推斷建模階段。使用基於注意力的軟對齊,來獲得前提和假設之間的局部相關性。

最後,為了確定前提和假設之間的總體推斷關係,使用一個組合層來合成增強的局部推斷信息。

在序列推斷模型中,繼續使用BiLSTM序列來合成局部推斷信息,然後將結果向量轉化為池化的固定長度向量,並將其提供給最終的分類器來確定總體推斷關係。

更多細節,請收好論文鏈接:

https://arxiv.org/abs/1609.06038

模型發佈之後,便引發了極大關注,不僅在DSTC 7上拿下冠軍,還成為了許多新發布數據集的評測標準之一,比如紐約大學的MultiNLI數據集、華盛頓大學的SWAG數據集等等。

DSTC 7冠軍論文:

Sequential Attention-based Network for Noetic End-to-End Response Selection

https://arxiv.org/abs/1901.02609

達摩院90後科學家研發

ESIM模型,最初由達摩院語音實驗室的陳謙等人研發。

陳謙,27歲,90後,博士畢業於中科大。2018年加入阿里巴巴,是2018屆的阿里星之一。

進入阿里之後,取花名潭清,也是達摩院中最年輕的科學家之一。

在今年的國際頂級語音會議ICASSP 2019上,陳謙再度大放異彩:基於ESIM的研究在公開的標準數據集Ubuntu(英文)和E-commerce(中文)上均取得了最高的成績。


"

乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

阿里巴巴,AI開源又有新動作。

這次是人機對話模型ESIM,全稱Enhanced Sequential Inference Model,一種增強序列推斷模型。

阿里介紹稱,自2017年首次提出以來,這一研究已被谷歌、Facebook等在內的研究者在論文中引用200多次,也一度在國際頂級對話系統評測大賽(DSTC7)上獲得雙料冠軍,將人機對話準確率的世界紀錄提升至94.1%。

這一模型的主要應用場景為智能客服、導航軟件、智能音箱等,現在已經被阿里巴巴應用到語音點餐機、地鐵語音售票機、汽車交互系統等應用中。

阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄

開源地址:

https://github.com/alibaba/esim-response-selection

ESIM是什麼?

ESIM首次提出是在2017年,論文的名稱中就給出了直接的介紹:

Enhanced LSTM for Natural Language Inference,應用到自然語言推斷的強化版LSTM。

從論文給出的模型架構圖來看,ESIM模型由三個部分組成(下圖左邊部分是ESIM模型,右側部分表示包含語法分析信息的網絡):輸入編碼(Input Encoding)、局部推斷建模(Local Inference Modeling)和推斷合成(Inference Composition)。


阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄


首先,在輸入編碼階段,輸入前提(Premise)和假設(Hypothesis)。在這一部分,BiLSTM學習如何表示一個單詞及其上下文。

其次,在局部推斷建模階段。使用基於注意力的軟對齊,來獲得前提和假設之間的局部相關性。

最後,為了確定前提和假設之間的總體推斷關係,使用一個組合層來合成增強的局部推斷信息。

在序列推斷模型中,繼續使用BiLSTM序列來合成局部推斷信息,然後將結果向量轉化為池化的固定長度向量,並將其提供給最終的分類器來確定總體推斷關係。

更多細節,請收好論文鏈接:

https://arxiv.org/abs/1609.06038

模型發佈之後,便引發了極大關注,不僅在DSTC 7上拿下冠軍,還成為了許多新發布數據集的評測標準之一,比如紐約大學的MultiNLI數據集、華盛頓大學的SWAG數據集等等。

DSTC 7冠軍論文:

Sequential Attention-based Network for Noetic End-to-End Response Selection

https://arxiv.org/abs/1901.02609

達摩院90後科學家研發

ESIM模型,最初由達摩院語音實驗室的陳謙等人研發。

陳謙,27歲,90後,博士畢業於中科大。2018年加入阿里巴巴,是2018屆的阿里星之一。

進入阿里之後,取花名潭清,也是達摩院中最年輕的科學家之一。

在今年的國際頂級語音會議ICASSP 2019上,陳謙再度大放異彩:基於ESIM的研究在公開的標準數據集Ubuntu(英文)和E-commerce(中文)上均取得了最高的成績。


阿里開源人機對話模型ESIM,達摩院90後科學家研發,曾創世界紀錄


論文鏈接:

Sequential Attention-based Network for Noetic End-to-End Response Selection

https://arxiv.org/abs/1901.02609

阿里巴巴這次開源項目,便是圍繞著這一論文進行的。

最後,再放一下開源鏈接:

https://github.com/alibaba/esim-response-selection

— 完 —

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

"

相關推薦

推薦中...