全文共1925字，預計學習時長4分鐘
全文共1925字，預計學習時長4分鐘
圖片來源：unsplash.com/@multamedia
你是否對機器學習模型如何工作感到好奇？這些模型內部是如何運作的，它們是否值得信任？
本文將全面概述什麼是可解釋人工智能（XAI），以及為什麼需要XAI。讀完本文後，你應該能夠理解XAI的必要性，並且可以考慮是否需要將其應用到ML項目或產品中去。
什麼是XAI？
可解釋人工智能（XAI）是機器學習中一個相當新的領域。在這個領域中，研究者試圖開發一款新模型，來解釋機器學習（ML）模型背後的決策過程。
XAI有許多不同的研究分支，但總的來說，要麼是試圖解釋複雜的黑箱模型的結果，要麼試圖將可解釋性納入當前的模型體系結構中。第一種方法被研究者廣泛採用，這種方法不考慮試模型的基本體系，只試圖解釋ML模型做了什麼。被稱為模型不可知的XAI。
為什麼需要XAI？
我們可以舉例來說明。隨著當前深度學習（DL）的發展，對於DL模型來說，擁有幾百萬個參數是非常典型的！將這些參數與已經使用了幾十年的簡單線性迴歸模型進行比較，就會理解DL模型到底有多複雜。
事實上，DL模型已經對很多行業產生了巨大的影響，但其中許多仍然被用作黑箱系統。這並不是一件好事，尤其是用這些模型來作出能夠產生巨大社會影響的決策時。
XAI解決了什麼問題？
XAI試圖回答三種不同類型的問題：為什麼？什麼時候？怎麼做？如果在開發ML產品時遇到以這三個關鍵詞提問的問題時，就可能需要求助於XAI。以下是在ML項目中遇到的一些典型問題：
· 為什麼ML模型會做出這樣的預測？
· 什麼時候能相信這個模型的預測？
· 什麼時候這個模型會做出錯誤的預測？
· 怎麼做能糾正這個模型的錯誤？
回答這些問題，需要將XAI模型/概念融合到M1項目/產品中去。
什麼時候需要XAI？
在每個ML項目中，某種程度上，可能需要向客戶或同事提供ML模型的決策過程。XAI在ML的應用中至關重要，ML系統的決策直接影響人們的生活，對社會產生巨大影響。
一些人可能會認為，在大多數情況下，最終的決定是由人們做出的。但是，許多專家會使用複雜的ML系統來幫助他們做決定。如果ML系統不能解釋它做決定的原理，那麼對於專家來說，就很難信任ML系統，並且會存在風險！
XAI有哪些的常見用例？
目前，AI/ML正在使用的所有領域都有XAI用例！本文不會列出所有用例，而是用兩個例子來說明，當ML模型的決策嚴重影響人們的生活時，為什麼需要XAI，以及如何使用XAI。以下例子來源於醫學和金融領域。
用例一：為什麼醫學ML應用需要XAI？
假設一個病人去醫院檢查她/他是否患有癲癇。醫生將病人腦部的核磁共振圖像輸入到一個複雜的ML模型中，生成的報告以85%的置信度診斷病人患有癲癇。以下是醫生可能會問的一些問題：
· 我要怎麼相信這個模型的報告呢？
· 模型是基於核磁共振圖像的哪些特徵，做出了這個決定？
· ML模型做出這個決定的方式對我有意義嗎？我怎麼知道這個模型的決策過程是什麼？
· 如果這份報告是錯誤的，或者模型的決策過程不夠準確，該怎麼辦？
此外還有很多問題！可以看出，除非ML模型的決策過程被呈現出來，並且可以被驗證，否則醫生並不會信任模型的決策結果。
全文共1925字，預計學習時長4分鐘
圖片來源：unsplash.com/@multamedia
你是否對機器學習模型如何工作感到好奇？這些模型內部是如何運作的，它們是否值得信任？
本文將全面概述什麼是可解釋人工智能（XAI），以及為什麼需要XAI。讀完本文後，你應該能夠理解XAI的必要性，並且可以考慮是否需要將其應用到ML項目或產品中去。
什麼是XAI？
可解釋人工智能（XAI）是機器學習中一個相當新的領域。在這個領域中，研究者試圖開發一款新模型，來解釋機器學習（ML）模型背後的決策過程。
XAI有許多不同的研究分支，但總的來說，要麼是試圖解釋複雜的黑箱模型的結果，要麼試圖將可解釋性納入當前的模型體系結構中。第一種方法被研究者廣泛採用，這種方法不考慮試模型的基本體系，只試圖解釋ML模型做了什麼。被稱為模型不可知的XAI。
為什麼需要XAI？
我們可以舉例來說明。隨著當前深度學習（DL）的發展，對於DL模型來說，擁有幾百萬個參數是非常典型的！將這些參數與已經使用了幾十年的簡單線性迴歸模型進行比較，就會理解DL模型到底有多複雜。
事實上，DL模型已經對很多行業產生了巨大的影響，但其中許多仍然被用作黑箱系統。這並不是一件好事，尤其是用這些模型來作出能夠產生巨大社會影響的決策時。
XAI解決了什麼問題？
XAI試圖回答三種不同類型的問題：為什麼？什麼時候？怎麼做？如果在開發ML產品時遇到以這三個關鍵詞提問的問題時，就可能需要求助於XAI。以下是在ML項目中遇到的一些典型問題：
· 為什麼ML模型會做出這樣的預測？
· 什麼時候能相信這個模型的預測？
· 什麼時候這個模型會做出錯誤的預測？
· 怎麼做能糾正這個模型的錯誤？
回答這些問題，需要將XAI模型/概念融合到M1項目/產品中去。
什麼時候需要XAI？
在每個ML項目中，某種程度上，可能需要向客戶或同事提供ML模型的決策過程。XAI在ML的應用中至關重要，ML系統的決策直接影響人們的生活，對社會產生巨大影響。
一些人可能會認為，在大多數情況下，最終的決定是由人們做出的。但是，許多專家會使用複雜的ML系統來幫助他們做決定。如果ML系統不能解釋它做決定的原理，那麼對於專家來說，就很難信任ML系統，並且會存在風險！
XAI有哪些的常見用例？
目前，AI/ML正在使用的所有領域都有XAI用例！本文不會列出所有用例，而是用兩個例子來說明，當ML模型的決策嚴重影響人們的生活時，為什麼需要XAI，以及如何使用XAI。以下例子來源於醫學和金融領域。
用例一：為什麼醫學ML應用需要XAI？
假設一個病人去醫院檢查她/他是否患有癲癇。醫生將病人腦部的核磁共振圖像輸入到一個複雜的ML模型中，生成的報告以85%的置信度診斷病人患有癲癇。以下是醫生可能會問的一些問題：
· 我要怎麼相信這個模型的報告呢？
· 模型是基於核磁共振圖像的哪些特徵，做出了這個決定？
· ML模型做出這個決定的方式對我有意義嗎？我怎麼知道這個模型的決策過程是什麼？
· 如果這份報告是錯誤的，或者模型的決策過程不夠準確，該怎麼辦？
此外還有很多問題！可以看出，除非ML模型的決策過程被呈現出來，並且可以被驗證，否則醫生並不會信任模型的決策結果。
醫學應用中的癲癇檢測系統
用例二：為什麼金融ML應用需要XAI？
假設一個人去金融機構申請住房貸款。金融機構會使用複雜的ML模型來獲取客戶的家庭人口和金融歷史等信息，並創建一份報告，來說明客戶是否有資格獲得貸款。
如果該客戶運氣不佳，系統認定他/她沒有資格獲得貸款。那麼問題是使用這個系統的商業人士能否信任該模型的決定。這與前面的例子中面臨的問題相同。以下是使用該模型的商業人士可能會問的一些問題：
· 如果客戶問為什麼他/她的貸款申請被拒絕，我該怎麼回答呢？
· ML模型能解釋和證實其決策過程，以便我們向客戶報告嗎？
· 在什麼情況下，這個模型不能做出正確的預測？我們是否會因為信任ML模型決策而失去一個忠誠的客戶？
此外也還有很多問題！如果一家公司使用複雜的ML模型，並且這些模型的決策對他們的客戶有很大影響，那麼就可能會出現很多問題。
全文共1925字，預計學習時長4分鐘
圖片來源：unsplash.com/@multamedia
你是否對機器學習模型如何工作感到好奇？這些模型內部是如何運作的，它們是否值得信任？
本文將全面概述什麼是可解釋人工智能（XAI），以及為什麼需要XAI。讀完本文後，你應該能夠理解XAI的必要性，並且可以考慮是否需要將其應用到ML項目或產品中去。
什麼是XAI？
可解釋人工智能（XAI）是機器學習中一個相當新的領域。在這個領域中，研究者試圖開發一款新模型，來解釋機器學習（ML）模型背後的決策過程。
XAI有許多不同的研究分支，但總的來說，要麼是試圖解釋複雜的黑箱模型的結果，要麼試圖將可解釋性納入當前的模型體系結構中。第一種方法被研究者廣泛採用，這種方法不考慮試模型的基本體系，只試圖解釋ML模型做了什麼。被稱為模型不可知的XAI。
為什麼需要XAI？
我們可以舉例來說明。隨著當前深度學習（DL）的發展，對於DL模型來說，擁有幾百萬個參數是非常典型的！將這些參數與已經使用了幾十年的簡單線性迴歸模型進行比較，就會理解DL模型到底有多複雜。
事實上，DL模型已經對很多行業產生了巨大的影響，但其中許多仍然被用作黑箱系統。這並不是一件好事，尤其是用這些模型來作出能夠產生巨大社會影響的決策時。
XAI解決了什麼問題？
XAI試圖回答三種不同類型的問題：為什麼？什麼時候？怎麼做？如果在開發ML產品時遇到以這三個關鍵詞提問的問題時，就可能需要求助於XAI。以下是在ML項目中遇到的一些典型問題：
· 為什麼ML模型會做出這樣的預測？
· 什麼時候能相信這個模型的預測？
· 什麼時候這個模型會做出錯誤的預測？
· 怎麼做能糾正這個模型的錯誤？
回答這些問題，需要將XAI模型/概念融合到M1項目/產品中去。
什麼時候需要XAI？
在每個ML項目中，某種程度上，可能需要向客戶或同事提供ML模型的決策過程。XAI在ML的應用中至關重要，ML系統的決策直接影響人們的生活，對社會產生巨大影響。
一些人可能會認為，在大多數情況下，最終的決定是由人們做出的。但是，許多專家會使用複雜的ML系統來幫助他們做決定。如果ML系統不能解釋它做決定的原理，那麼對於專家來說，就很難信任ML系統，並且會存在風險！
XAI有哪些的常見用例？
目前，AI/ML正在使用的所有領域都有XAI用例！本文不會列出所有用例，而是用兩個例子來說明，當ML模型的決策嚴重影響人們的生活時，為什麼需要XAI，以及如何使用XAI。以下例子來源於醫學和金融領域。
用例一：為什麼醫學ML應用需要XAI？
假設一個病人去醫院檢查她/他是否患有癲癇。醫生將病人腦部的核磁共振圖像輸入到一個複雜的ML模型中，生成的報告以85%的置信度診斷病人患有癲癇。以下是醫生可能會問的一些問題：
· 我要怎麼相信這個模型的報告呢？
· 模型是基於核磁共振圖像的哪些特徵，做出了這個決定？
· ML模型做出這個決定的方式對我有意義嗎？我怎麼知道這個模型的決策過程是什麼？
· 如果這份報告是錯誤的，或者模型的決策過程不夠準確，該怎麼辦？
此外還有很多問題！可以看出，除非ML模型的決策過程被呈現出來，並且可以被驗證，否則醫生並不會信任模型的決策結果。
醫學應用中的癲癇檢測系統
用例二：為什麼金融ML應用需要XAI？
假設一個人去金融機構申請住房貸款。金融機構會使用複雜的ML模型來獲取客戶的家庭人口和金融歷史等信息，並創建一份報告，來說明客戶是否有資格獲得貸款。
如果該客戶運氣不佳，系統認定他/她沒有資格獲得貸款。那麼問題是使用這個系統的商業人士能否信任該模型的決定。這與前面的例子中面臨的問題相同。以下是使用該模型的商業人士可能會問的一些問題：
· 如果客戶問為什麼他/她的貸款申請被拒絕，我該怎麼回答呢？
· ML模型能解釋和證實其決策過程，以便我們向客戶報告嗎？
· 在什麼情況下，這個模型不能做出正確的預測？我們是否會因為信任ML模型決策而失去一個忠誠的客戶？
此外也還有很多問題！如果一家公司使用複雜的ML模型，並且這些模型的決策對他們的客戶有很大影響，那麼就可能會出現很多問題。
金融應用中使用的貸款模型
XAI的未來是什麼？
XAI的未來很難預測，因為這是AI/ML領域的一個相當新的領域，許多研究人員還正在積極研究新的XAI模型。然而，可以基於當前的研究趨勢和行業需求對XAI模型進行預測。幾年後，當XAI模式在各行業的應用變得更加成熟時，可能會發生以下情況：
· ML模型將能夠解釋自身的結果！（可以將其想象成《西部世界》裡的機器人能夠進行“分析”）
· 更多可解釋的模型會產生，用戶可與其交互並修改（或改進）結果。
· 因為模型是可解釋的，並且可以知道它是如何做出決定的，所以用戶也許能夠將自身知識注入模型！
在哪裡可以學習更多關於XAI的知識？
網上有很多可供學習的在線材料。可解釋ML手冊（https://christophm.github.io/interpretable-ml-book/）是對XAI當前方法的總體概述，如果你還不熟悉這個領域，這個手冊將是一個好的入門。美國國防部高級研究計劃局（DARPA）公佈了一份關於XAI使用的規劃圖（https://www.darpa.mil/attachments/XAIProgramUpdate.pdf），展示了他們在不同XAI模型和方法上的工作計劃，以及如何將XAI應用於ML模型。
全文共1925字，預計學習時長4分鐘
圖片來源：unsplash.com/@multamedia
你是否對機器學習模型如何工作感到好奇？這些模型內部是如何運作的，它們是否值得信任？
本文將全面概述什麼是可解釋人工智能（XAI），以及為什麼需要XAI。讀完本文後，你應該能夠理解XAI的必要性，並且可以考慮是否需要將其應用到ML項目或產品中去。
什麼是XAI？
可解釋人工智能（XAI）是機器學習中一個相當新的領域。在這個領域中，研究者試圖開發一款新模型，來解釋機器學習（ML）模型背後的決策過程。
XAI有許多不同的研究分支，但總的來說，要麼是試圖解釋複雜的黑箱模型的結果，要麼試圖將可解釋性納入當前的模型體系結構中。第一種方法被研究者廣泛採用，這種方法不考慮試模型的基本體系，只試圖解釋ML模型做了什麼。被稱為模型不可知的XAI。
為什麼需要XAI？
我們可以舉例來說明。隨著當前深度學習（DL）的發展，對於DL模型來說，擁有幾百萬個參數是非常典型的！將這些參數與已經使用了幾十年的簡單線性迴歸模型進行比較，就會理解DL模型到底有多複雜。
事實上，DL模型已經對很多行業產生了巨大的影響，但其中許多仍然被用作黑箱系統。這並不是一件好事，尤其是用這些模型來作出能夠產生巨大社會影響的決策時。
XAI解決了什麼問題？
XAI試圖回答三種不同類型的問題：為什麼？什麼時候？怎麼做？如果在開發ML產品時遇到以這三個關鍵詞提問的問題時，就可能需要求助於XAI。以下是在ML項目中遇到的一些典型問題：
· 為什麼ML模型會做出這樣的預測？
· 什麼時候能相信這個模型的預測？
· 什麼時候這個模型會做出錯誤的預測？
· 怎麼做能糾正這個模型的錯誤？
回答這些問題，需要將XAI模型/概念融合到M1項目/產品中去。
什麼時候需要XAI？
在每個ML項目中，某種程度上，可能需要向客戶或同事提供ML模型的決策過程。XAI在ML的應用中至關重要，ML系統的決策直接影響人們的生活，對社會產生巨大影響。
一些人可能會認為，在大多數情況下，最終的決定是由人們做出的。但是，許多專家會使用複雜的ML系統來幫助他們做決定。如果ML系統不能解釋它做決定的原理，那麼對於專家來說，就很難信任ML系統，並且會存在風險！
XAI有哪些的常見用例？
目前，AI/ML正在使用的所有領域都有XAI用例！本文不會列出所有用例，而是用兩個例子來說明，當ML模型的決策嚴重影響人們的生活時，為什麼需要XAI，以及如何使用XAI。以下例子來源於醫學和金融領域。
用例一：為什麼醫學ML應用需要XAI？
假設一個病人去醫院檢查她/他是否患有癲癇。醫生將病人腦部的核磁共振圖像輸入到一個複雜的ML模型中，生成的報告以85%的置信度診斷病人患有癲癇。以下是醫生可能會問的一些問題：
· 我要怎麼相信這個模型的報告呢？
· 模型是基於核磁共振圖像的哪些特徵，做出了這個決定？
· ML模型做出這個決定的方式對我有意義嗎？我怎麼知道這個模型的決策過程是什麼？
· 如果這份報告是錯誤的，或者模型的決策過程不夠準確，該怎麼辦？
此外還有很多問題！可以看出，除非ML模型的決策過程被呈現出來，並且可以被驗證，否則醫生並不會信任模型的決策結果。
醫學應用中的癲癇檢測系統
用例二：為什麼金融ML應用需要XAI？
假設一個人去金融機構申請住房貸款。金融機構會使用複雜的ML模型來獲取客戶的家庭人口和金融歷史等信息，並創建一份報告，來說明客戶是否有資格獲得貸款。
如果該客戶運氣不佳，系統認定他/她沒有資格獲得貸款。那麼問題是使用這個系統的商業人士能否信任該模型的決定。這與前面的例子中面臨的問題相同。以下是使用該模型的商業人士可能會問的一些問題：
· 如果客戶問為什麼他/她的貸款申請被拒絕，我該怎麼回答呢？
· ML模型能解釋和證實其決策過程，以便我們向客戶報告嗎？
· 在什麼情況下，這個模型不能做出正確的預測？我們是否會因為信任ML模型決策而失去一個忠誠的客戶？
此外也還有很多問題！如果一家公司使用複雜的ML模型，並且這些模型的決策對他們的客戶有很大影響，那麼就可能會出現很多問題。
金融應用中使用的貸款模型
XAI的未來是什麼？
XAI的未來很難預測，因為這是AI/ML領域的一個相當新的領域，許多研究人員還正在積極研究新的XAI模型。然而，可以基於當前的研究趨勢和行業需求對XAI模型進行預測。幾年後，當XAI模式在各行業的應用變得更加成熟時，可能會發生以下情況：
· ML模型將能夠解釋自身的結果！（可以將其想象成《西部世界》裡的機器人能夠進行“分析”）
· 更多可解釋的模型會產生，用戶可與其交互並修改（或改進）結果。
· 因為模型是可解釋的，並且可以知道它是如何做出決定的，所以用戶也許能夠將自身知識注入模型！
在哪裡可以學習更多關於XAI的知識？
網上有很多可供學習的在線材料。可解釋ML手冊（https://christophm.github.io/interpretable-ml-book/）是對XAI當前方法的總體概述，如果你還不熟悉這個領域，這個手冊將是一個好的入門。美國國防部高級研究計劃局（DARPA）公佈了一份關於XAI使用的規劃圖（https://www.darpa.mil/attachments/XAIProgramUpdate.pdf），展示了他們在不同XAI模型和方法上的工作計劃，以及如何將XAI應用於ML模型。
留言 點贊 關注
我們一起分享AI學習與發展的乾貨
編譯組：殷睿宣、廖馨婷
相關鏈接：
https://medium.com/altaml/how-explainable-artificial-intelligence-xai-can-help-us-trust-ai-8f01b574102d
如需轉載，請後臺留言，遵守轉載規範