全文共2617字，預計學習時長5分鐘
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
為實現上述目標，概念激活向量測試方法分為三個基本步驟：
1）定義模型的相關概念。
2）理解這些概念預測結果的敏感性。
3）推斷各概念對各模型預測類相對重要性，做出全局定量解釋。
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
為實現上述目標，概念激活向量測試方法分為三個基本步驟：
1）定義模型的相關概念。
2）理解這些概念預測結果的敏感性。
3）推斷各概念對各模型預測類相對重要性，做出全局定量解釋。
概念激活向量測試方法的第一步是定義一個感興趣的概念（概念激活向量）.概念激活向量測試通過選擇一組代表該概念的例子或者找到一個標有概念的獨立數據集來實現這一步。訓練線性分類器區分概念示例和任何層中的示例所產生的激活結果，從而使概念激活向量得到學習。
第二步是生成一個概念激活向量測試分數，用於量化預測特定概念的敏感性。要實現這一步驟，可通過使用定向導數來衡量機器學習預測對神經激活層概念方向輸入變化的敏感性。
最後一步是評估所學習概念激活向量的全局相關性，以避免依賴不相關的概念激活向量。畢竟，概念激活向量測試技術的一個缺陷是有可能學習無意義的概念激活向量。再者，使用隨機選擇的一組圖像也能產生概念激活向量。基於這樣一個隨機概念進行的測試毫無意義。為解決這一問題，概念激活向量測試引入了一項統計顯著性檢驗，可以根據隨機次數的訓練運行來評估概念激活向量，通常為500次。該辦法的依據在於有意義的概念激活向量測試分數在訓練運行中會表現一致。
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
為實現上述目標，概念激活向量測試方法分為三個基本步驟：
1）定義模型的相關概念。
2）理解這些概念預測結果的敏感性。
3）推斷各概念對各模型預測類相對重要性，做出全局定量解釋。
概念激活向量測試方法的第一步是定義一個感興趣的概念（概念激活向量）.概念激活向量測試通過選擇一組代表該概念的例子或者找到一個標有概念的獨立數據集來實現這一步。訓練線性分類器區分概念示例和任何層中的示例所產生的激活結果，從而使概念激活向量得到學習。
第二步是生成一個概念激活向量測試分數，用於量化預測特定概念的敏感性。要實現這一步驟，可通過使用定向導數來衡量機器學習預測對神經激活層概念方向輸入變化的敏感性。
最後一步是評估所學習概念激活向量的全局相關性，以避免依賴不相關的概念激活向量。畢竟，概念激活向量測試技術的一個缺陷是有可能學習無意義的概念激活向量。再者，使用隨機選擇的一組圖像也能產生概念激活向量。基於這樣一個隨機概念進行的測試毫無意義。為解決這一問題，概念激活向量測試引入了一項統計顯著性檢驗，可以根據隨機次數的訓練運行來評估概念激活向量，通常為500次。該辦法的依據在於有意義的概念激活向量測試分數在訓練運行中會表現一致。
概念激活向量測試實際應用
Google Brain團隊進行了幾項實驗來評估與其他可解釋性方法相比概念激活向量測試的效率。在最著名的一次測試中，該團隊使用了一個顯著圖，試圖通過預測標題或圖像的相關性以理解出租車這一概念。顯著圖的輸出結果如下所示：
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
為實現上述目標，概念激活向量測試方法分為三個基本步驟：
1）定義模型的相關概念。
2）理解這些概念預測結果的敏感性。
3）推斷各概念對各模型預測類相對重要性，做出全局定量解釋。
概念激活向量測試方法的第一步是定義一個感興趣的概念（概念激活向量）.概念激活向量測試通過選擇一組代表該概念的例子或者找到一個標有概念的獨立數據集來實現這一步。訓練線性分類器區分概念示例和任何層中的示例所產生的激活結果，從而使概念激活向量得到學習。
第二步是生成一個概念激活向量測試分數，用於量化預測特定概念的敏感性。要實現這一步驟，可通過使用定向導數來衡量機器學習預測對神經激活層概念方向輸入變化的敏感性。
最後一步是評估所學習概念激活向量的全局相關性，以避免依賴不相關的概念激活向量。畢竟，概念激活向量測試技術的一個缺陷是有可能學習無意義的概念激活向量。再者，使用隨機選擇的一組圖像也能產生概念激活向量。基於這樣一個隨機概念進行的測試毫無意義。為解決這一問題，概念激活向量測試引入了一項統計顯著性檢驗，可以根據隨機次數的訓練運行來評估概念激活向量，通常為500次。該辦法的依據在於有意義的概念激活向量測試分數在訓練運行中會表現一致。
概念激活向量測試實際應用
Google Brain團隊進行了幾項實驗來評估與其他可解釋性方法相比概念激活向量測試的效率。在最著名的一次測試中，該團隊使用了一個顯著圖，試圖通過預測標題或圖像的相關性以理解出租車這一概念。顯著圖的輸出結果如下所示：
Google Brain團隊使用這些圖像作為測試數據集，在Amazon Mechanical Turk上對50人進行了實驗。每個工作人員執行鍼對單個模型的一系列六個任務（3個對象類x 2種顯著圖類型）。任務順序隨機。每項任務中，工作人員首先看到四個圖像及其相應的顯著性掩模。然後評估他們認為圖像對模型的重要程度（10分制）、標題對模型的重要性（10分制），以及他們對答案的自信程度（5分制）。共評估60個獨特的圖像（120個獨特的顯著圖）。
實驗實況顯示，圖像概念比標題概念更相關。然而，觀察顯著性圖時，人們認為標題概念更重要（0％噪聲標籤的模型），或認為兩者並無差異（100％噪聲標籤的模型）。相比之下，概念激活向量測試結果正確地表明圖像概念更重要。
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
為實現上述目標，概念激活向量測試方法分為三個基本步驟：
1）定義模型的相關概念。
2）理解這些概念預測結果的敏感性。
3）推斷各概念對各模型預測類相對重要性，做出全局定量解釋。
概念激活向量測試方法的第一步是定義一個感興趣的概念（概念激活向量）.概念激活向量測試通過選擇一組代表該概念的例子或者找到一個標有概念的獨立數據集來實現這一步。訓練線性分類器區分概念示例和任何層中的示例所產生的激活結果，從而使概念激活向量得到學習。
第二步是生成一個概念激活向量測試分數，用於量化預測特定概念的敏感性。要實現這一步驟，可通過使用定向導數來衡量機器學習預測對神經激活層概念方向輸入變化的敏感性。
最後一步是評估所學習概念激活向量的全局相關性，以避免依賴不相關的概念激活向量。畢竟，概念激活向量測試技術的一個缺陷是有可能學習無意義的概念激活向量。再者，使用隨機選擇的一組圖像也能產生概念激活向量。基於這樣一個隨機概念進行的測試毫無意義。為解決這一問題，概念激活向量測試引入了一項統計顯著性檢驗，可以根據隨機次數的訓練運行來評估概念激活向量，通常為500次。該辦法的依據在於有意義的概念激活向量測試分數在訓練運行中會表現一致。
概念激活向量測試實際應用
Google Brain團隊進行了幾項實驗來評估與其他可解釋性方法相比概念激活向量測試的效率。在最著名的一次測試中，該團隊使用了一個顯著圖，試圖通過預測標題或圖像的相關性以理解出租車這一概念。顯著圖的輸出結果如下所示：
Google Brain團隊使用這些圖像作為測試數據集，在Amazon Mechanical Turk上對50人進行了實驗。每個工作人員執行鍼對單個模型的一系列六個任務（3個對象類x 2種顯著圖類型）。任務順序隨機。每項任務中，工作人員首先看到四個圖像及其相應的顯著性掩模。然後評估他們認為圖像對模型的重要程度（10分制）、標題對模型的重要性（10分制），以及他們對答案的自信程度（5分制）。共評估60個獨特的圖像（120個獨特的顯著圖）。
實驗實況顯示，圖像概念比標題概念更相關。然而，觀察顯著性圖時，人們認為標題概念更重要（0％噪聲標籤的模型），或認為兩者並無差異（100％噪聲標籤的模型）。相比之下，概念激活向量測試結果正確地表明圖像概念更重要。
概念激活向量測試是最近幾年來實現神經網絡可解釋性的最新方式之一。可以在GitHub上獲取這項先進技術的代碼，未來這項技術的一些想法也將被主流深度學習框架採用。
傳送門：https://github.com/tensorflow/tcav?source=post_page---------------------------
全文共2617字，預計學習時長5分鐘
可解釋性仍是現代深度學習應用中最嚴峻的挑戰之一。隨著計算模型和深度學習研究領域不斷進展，如今可建立包含數千隱藏神經層和上千萬神經元的複雜模型。儘管在深度神經網絡模型上取得巨大進步似乎還算簡單，但理解這些模型的創建和推理過程仍是一大難題。
最近，Google Brain團隊發佈了一篇文章，提出通過使用一種叫做概念激活向量的方法從新角度理解深度學習模型的可解釋性。
傳送門：https://arxiv.org/pdf/1711.11279.pdf?source=post_page---------------------------
可解釋性VS準確性
要理解概念激活向量技術，必須先理解深度學習模型中普遍存在的可解釋性難題。就目前的深度學習技術而言，保證模型準確性和人為解釋模型實現原理之間一直存在阻力。可解釋性-準確性之間的矛盾在於能夠完成複雜任務和真正理解任務如何完成之間的差別。平衡好準確性和可解釋性的關係，也就相當於理解了知識VS控制，性能VS可靠度，效率VS簡潔性之間的矛盾。
應該注重取得最好結果還是注重理解結果產生的過程？在任何深度學習場景中，數據科學家都需要考慮這一問題。許多深度學習技術本身十分複雜，即便大多數情況下都得到了準確的最終結果，人們卻很難對其進行解釋。如果用圖表來表示一些廣為人知的深度學習模型中準確性和可解釋性的關係，將得到如下結果：
深度學習模型的可解釋性不是一個簡單的概念，應從多個層次看待：
要想如上圖所示，實現各層面的可解釋性，需要一些基本構件。谷歌研究人員在最近發表的文章中列出了他們認為實現可解釋性所需的一些基本要素。
谷歌對可解釋性的根本原則做出如下解釋：
-明白隱藏層的作用：深度學習模型中的許多原理都是在隱藏層中實現的。宏觀瞭解各個隱藏層功能對解釋深度學習模型而言至關重要。
-明白節點激活方式：可解釋性的關鍵不是理解單個神經元在網絡中的功能，而在於明白相同空間位置中互相聯繫的各組神經元之間的作用。在拆分神經網絡之時，對相互關聯的神經元分組將有助於理解該網絡的功能。
-明白概念形成過程：瞭解深度神經中樞網絡形成自身概念進而得出最終結果的過程是建立可解釋性的另一關鍵。
以上原則是谷歌最新概念激活向量技術的理論基礎。
概念激活向量
根據上文所述，實現可解釋性的一個根本方法是根據深度學習模型考慮的輸入特徵描述其預測過程。一個典型案例是邏輯迴歸分類，其中係數權重通常被解釋為每個特徵的重要性。然而，許多深度學習模型基於如像素值之類的參數特徵進行操作，這些特徵和人類易於理解的高級概念不相對應。此外，一個模型的內部值（如神經中樞激活）似乎也是無法理解的。儘管此類技術能有效測量特定像素區域的重要性，它們卻無法與更高級的概念相關聯。
概念激活向量的核心原理在於測量模型輸出結果中的概念關聯性。某一概念的概念激活向量指該概念一組示例的值（如激活）的向量。谷歌研究團隊在發佈的論文中概述了一種名為概念激活向量測試（TCAV）的新型線性可解釋性方法。該方法使用方向導數來量化模型預測對概念激活向量學習的基礎高級概念的敏感性。從概念上講，概念激活向量測試有四個目標：
-可行性：使用者幾乎無需具備深度學習知識
-定製性：適配於任何概念（如性別等）且不僅限於訓練時使用的概念
-內嵌可讀性：無需深度學習模型再次訓練或優化。
-全球定量：可使用單個定量度量來解釋整類或整組示例，而非解釋單一數據輸入。
為實現上述目標，概念激活向量測試方法分為三個基本步驟：
1）定義模型的相關概念。
2）理解這些概念預測結果的敏感性。
3）推斷各概念對各模型預測類相對重要性，做出全局定量解釋。
概念激活向量測試方法的第一步是定義一個感興趣的概念（概念激活向量）.概念激活向量測試通過選擇一組代表該概念的例子或者找到一個標有概念的獨立數據集來實現這一步。訓練線性分類器區分概念示例和任何層中的示例所產生的激活結果，從而使概念激活向量得到學習。
第二步是生成一個概念激活向量測試分數，用於量化預測特定概念的敏感性。要實現這一步驟，可通過使用定向導數來衡量機器學習預測對神經激活層概念方向輸入變化的敏感性。
最後一步是評估所學習概念激活向量的全局相關性，以避免依賴不相關的概念激活向量。畢竟，概念激活向量測試技術的一個缺陷是有可能學習無意義的概念激活向量。再者，使用隨機選擇的一組圖像也能產生概念激活向量。基於這樣一個隨機概念進行的測試毫無意義。為解決這一問題，概念激活向量測試引入了一項統計顯著性檢驗，可以根據隨機次數的訓練運行來評估概念激活向量，通常為500次。該辦法的依據在於有意義的概念激活向量測試分數在訓練運行中會表現一致。
概念激活向量測試實際應用
Google Brain團隊進行了幾項實驗來評估與其他可解釋性方法相比概念激活向量測試的效率。在最著名的一次測試中，該團隊使用了一個顯著圖，試圖通過預測標題或圖像的相關性以理解出租車這一概念。顯著圖的輸出結果如下所示：
Google Brain團隊使用這些圖像作為測試數據集，在Amazon Mechanical Turk上對50人進行了實驗。每個工作人員執行鍼對單個模型的一系列六個任務（3個對象類x 2種顯著圖類型）。任務順序隨機。每項任務中，工作人員首先看到四個圖像及其相應的顯著性掩模。然後評估他們認為圖像對模型的重要程度（10分制）、標題對模型的重要性（10分制），以及他們對答案的自信程度（5分制）。共評估60個獨特的圖像（120個獨特的顯著圖）。
實驗實況顯示，圖像概念比標題概念更相關。然而，觀察顯著性圖時，人們認為標題概念更重要（0％噪聲標籤的模型），或認為兩者並無差異（100％噪聲標籤的模型）。相比之下，概念激活向量測試結果正確地表明圖像概念更重要。
概念激活向量測試是最近幾年來實現神經網絡可解釋性的最新方式之一。可以在GitHub上獲取這項先進技術的代碼，未來這項技術的一些想法也將被主流深度學習框架採用。
傳送門：https://github.com/tensorflow/tcav?source=post_page---------------------------
留言 點贊 關注
我們一起分享AI學習與發展的乾貨
歡迎關注全平臺AI垂類自媒體 “讀芯術”
相關推薦
