如果數據也帶有種族歧視，你會怎麼做？

算法當然是種族主義者，因為它是人類的產物。

——斯蒂芬·布什（《新政治家》週刊美國版編輯）

機器學習中的倫理道德

大多數時候，機器學習並不涉及特別敏感的社會、道德或倫理問題。數據集可以根據給定的屬性預測房價，或將圖片分成不同類別，或教會電腦玩《吃豆人》遊戲的最佳方式。

但是如果數據在進行預測時涉及受保護的屬性，那麼根據反歧視法，我們要怎麼做呢？如何確保算法中不會植入直接或間接的種族主義、性別歧視或其它潛在的偏見呢？

美國已經有過幾起關於這個話題的重要訴訟。其中最引人注目的是Northpointe公司推出的COMPAS（有關替代性制裁的懲教罪犯管理概況）軟件，它可以預測被告再次犯罪的概率。該軟件中的專有算法是基於一個有137個問題的問卷的部分答案來預測這種風險的。

2013年2月，警方發現Eric Loomis正駕駛著一輛曾在某場槍擊案中使用過的汽車。隨後他被逮捕，並承認犯有逃避警察追捕罪。在量刑審判時，法官不僅要看他的犯罪記錄，還要看COMPAS軟件給判定的分數。

COMPAS是目前在美國各地使用的幾種風險評估算法之一，可用於預測暴力犯罪的熱點地區，確定囚犯可能需要的監管類型，或者像Loomis的案例一樣，提供對量刑可能有用的信息。最後COMPAS將Loomis列為再次犯罪的高風險人物，他被判處六年徒刑。

他上訴的理由是，法官在考慮算法的結果時，違反了正當程序，因為該算法的內部工作是保密的，無法進行檢查。上訴被提交到威斯康星州最高法院，該法院否決了這一上訴，指出即使不參考COMPAS軟件，判決仍然一樣。然而，法院的裁決使得人們對算法的使用開始持謹慎和懷疑的態度。

可想而知，這個案例在機器學習領域引起了不小的轟動。畢竟不是所有人都想被算法審判，但是我們又不能責怪算法缺乏職業操守，難道不是嗎？

爭議愈演愈烈

到2014年，該軟件引起的爭議變得更加激烈。

從算法中剔除更具爭議的結果並仔細檢查後，它再次吸引了公眾的目光。美國司法部長Eric Holder警告稱，風險評分可能會為法院帶來偏見。他呼籲美國量刑委員會研究其使用情況。他說：“儘管這些措施的出發點是好的，但我擔心它們會在無意中破壞我們在確保個性化和司法平等方面所做的努力。”他補充說，“這些措施可能會加劇我們在刑事司法和社會中出現的非常普遍的毫無根據且不公正的差異。”

然而，量刑委員會沒有開展風險評分研究，但ProPublica做到了，它能在部分程度上進一步審查算法在美國人生活中隱藏的重大影響。

ProPublica的審查得出了一些有趣的結論。正如Holder所擔心的那樣，該算法不僅驚人的不準（準確性不到20%），而且還顯示出明顯的種族差異。在預測誰會再次犯罪時，該算法對黑人和白人被告的預測上犯了錯誤，雖然犯罪比率大致相同，但是犯罪方式截然不同。

這種模式特別容易錯誤地將黑人被告標記為未來的罪犯，並且以這種方式為黑人被告貼上錯誤的標籤的概率幾乎是白人被告的兩倍。白人被告比黑人被告更容易被錯誤地貼上低風險的標籤。黑人被告被認為仍有可能犯下暴力犯罪的風險高達77%，犯下任何罪行的可能性達到45%。

這可能聽起來很糟糕，但是這個故事比表面上看的要複雜得多。根據分析的方式，發現算法既帶有種族主義，又不存在種族主義，這取決於我們在模型中定義“平等”的方式。模型實際上是以人們可以接受的方式設計的，但仍然可以產生據稱的帶有種族主義的結果，對於這點，我們將在本文接下來的部分進行解釋，幫助理解。

歧視的類型

首先需要定義算法中可能存在的歧視類型，以及在前面的示例中涉及到的類型。我們把兩種形式的歧視稱為差別影響和差別對待。

差別對待包括以人們不允許的方式對某人進行分類。它涉及到歧視的意圖，體現在明確提及群體成員。

差別影響著眼於分類/決策對特定群體的影響，這不需要任何意圖，它是表面中立的。

差別影響通常被稱為無意識的歧視，而差別對待則是有意識的歧視。

最高法院認為，如果“基於合理的商業考量因素”，對特定群體產生的不成比例的影響的做法，則不會造成差別影響。

如果考慮以下任何受保護屬性時，可能會導致差別對待或差別影響。

受保護屬性（來自美國平等就業委員會）：

年齡

殘疾

國籍

種族/膚色

信仰

性別

所有這些屬性都可以用作機器學習算法中的特徵，因此我們的算法有可能在這些屬性的基礎上進行區分。一些常見的例子是面部識別、再犯罪可能性和招聘。我們可以做些什麼來幫助解決這個問題？

解決差別對待問題很簡單。明顯的歧視偏見使分類不那麼準確，因此沒有理由要差別對待。但是，如果歧視已被植入歷史數據時要怎麼辦呢？或者說這些屬性是過去社會不公正的結果且至今仍然存在，要怎麼辦呢？

訓練數據時的歧視性偏見

如果分類和決策基於不正確的信息（例如認為7英尺以上的人都是壞保姆），那麼歧視會影響社會商品的流動。這些想法常被人類的偏見所延續，並植入用於訓練算法的數據中。

在這種情況下，機器學習算法不會減輕人的偏見。事實上，這些偏見會再現於分類當中。為什麼會發生這種情況呢？Northpointe公司的軟件所做的再犯評分是基於先前的逮捕記錄、初次與警方接觸的年齡及父母的入獄記錄。這些信息是由世界上的偏見（如文化價值觀和民族主義）和更普遍的不公正（如種族偏見）所形成的。

這種偏見也存在於自然語言處理的文本數據中。這方面的一個很好的例子是一篇名為《男人就是計算機程序員，女人就是家庭主婦嗎？消除詞嵌入向量！》的科研論文，它顯示了該軟件在向量中自動生成的類比，例如男人→計算機程序員，而女人→家庭主婦。這些例子都反映了原始文本中的性別歧視。

更普遍地說，這些偏差通常來源於：

過採樣和欠採樣

偏態樣本

特徵選擇/有限特徵

代理/冗餘編碼

世界上存在的偏見和不公正

如何消除這些偏見呢？機器學習算法會使歧視永久化，因為它們是針對有偏見的數據進行訓練的。解決方案是識別或生成一個無偏差數據集，從中可以得出準確的歸納。

消除偏見

種族、性別和社會經濟階層特徵決定了我們與某些績效任務的結果相關的其他特徵。這些都是受保護的屬性，但它們仍然是與某些績效任務相關，而這些績效任務則是公認的社會產品。例如：

白人家庭的平均財富是黑人家庭的7倍。

財富與是否能償還貸款有關。

財富的差異取決於過去和現在的不公正。

機器學習在本質上基於歷史事件。為了有效解決歧視問題，需要改變模式。然而，機器學習加強了這些模式。因此，機器學習可能是問題的一部分。

“即使歷史是一條向正義傾斜的弧線，機器學習也不會向正義傾斜。”那麼我們該何去何從？難道算法註定要帶有種族主義和性別歧視嗎？即使優化準確性，即使使用的是沒有偏見的數據集，執行績效任務時也考慮到社會產品，機器學習算法也可能永遠存在歧視。

我們還能做些什麼？

順序學習

更多理論

因果模型

優化公平

在這些所有措施中，優化公平似乎時最簡單且最好的做法。在下一節中，將概述一個優化公平模型的方法。

優化公平

可以通過以下4種方式構建並優化機器學習算法，以消除歧視：

將非歧視標準正式化

人口統計平等

均衡可能性

良好的校準系統

我們將依次討論這些問題。

將非歧視標準正式化基本上是其它3種方式也涉及到的內容，這些標準類型旨在使非歧視標準正式化。但是，這份清單並非詳盡無遺，可能還有更好的方法尚未提出。

人口統計平等提出決策（目標變量）應該獨立於受保護的屬性，如種族和性別等與決策無關的屬性。

對於二元決策Y和受保護屬性A來說：

P(Y=1 ∣ A=0) = P(Y=1∣A=1)

無論受保護的屬性是（A=1）還是（A=0），做出某個決策的概率（Y=1）應該是相同的。但是，使用完美預測器C=Y排除了人口統計平等，其中C是預測器，Y是目標變量。

要理解異議，請考慮以下情況。假設想要預測一個人是否會買有機洗髮水，且某些團隊的成員是否購買有機洗髮水並不獨立於該團隊的全體成員。但是，人口統計平等將排除使用完美預測器。也許這不是最好的程序，也許其他人會給我們更好的結果。

均衡可能性提出預測器和受保護屬性應該是獨立的，並以結果為條件。對於預測變量R、結果Y和受保護屬性A，這三個都是二進制變量：

P(R=1|A=0,Y=1) = P(R=1|A=1, Y=1).

無論是（A=1）還是（A=0），該屬性不應該改變對某個相關預測器（R=1）對候選對象是否適用的可能性的估計（Ｐ）。相反，某些決定的結果（Y=1）則應該改變。這種方法的一個優點是它與理想預測器兼容，R=Y。

看看以下案例，由於是在畢業典禮上致告別辭的最優生，所以耶魯大學錄取了該生。均衡可能性假定不管是否知道學生是同性戀，都不會改變該生是畢業演講代表的概率。

預測器R=是（1）或不是（0）高中畢業演講代表

結果Y=進（1）或不進入（0）耶律大學

屬性A= 是（1）或不是（0）同性戀

P(Y=1|A=0,R=1) = P(Y=1|A=1, R=1)

良好的校準系統建議結果和受保護屬性互相獨立，以預測器為條件。對於預測變量R，結果Y和受保護屬性A來說，這三個都是二進制變量。

某些結果發生的概率(Y=1)應該不受某些受保護屬性(無論是(A=0)還是(A=1))的影響，而應該取決於相關的預測器(R=1)。這一提法的優點是，不會意識到它使每個人都遵循相同的標準。

與之前的例子相比，知道這個學生是同性戀並不會改變這個學生進入耶魯的概率。均衡可能性和良好的校準系統之間的區別雖是微妙的，但很重要。

事實上，這種差異是我們開始時討論的COMPAS軟件存在分歧的基礎。

COMPAS軟件真的具有種族主義嗎？

均衡可能性和良好的校準系統是兩個互不兼容的標準。有時候，在特定的經驗條件下，無法同時擁有一個經過良好校準和得到均衡可能性的系統。在ProPublica和Northpointe關於COMPAS是否對黑人被告有偏見的辯論中，我們來看看這個事實。

Y=被告是否會再次犯罪

A=被告的種族

R=COMPAS使用的累犯預測器

Northpointe的辯詞：COMPAS軟件經過精心校準等等，

P(Y=1|A=0,R=1) = P(Y=1|A=1, R=1)

COMPAS系統對被告的累犯預測大致相同，無論其種族如何。

ProPublica的反駁:COMPAS對黑人被告的假陽性率較高，對白人被告的假陰性率較高，即不滿足均衡可能性。

P(R=1|A=0,Y=1) ≠ P(R=1|A=1, Y=1)

被告的種族對於個人是處於低風險還是中/高風險類別有所不同。無論是（A = 0）還是（A = 1），COMPAS已經確定一些累犯風險預測因子適合被告（P（R = 1））的概率有所不同，而不僅僅是被告是否會重新犯罪（Y = 1）。

為什麼會這樣？

當某些經驗事實成立的時候，具有良好校準系統和均衡可能性系統的能力就會出現問題。似乎產生這個問題的原因是我們之前討論過的東西：不公正造成的背景事實。例如，由於警方審查力度加大，再次犯罪被抓的機率也更高。

很難確定何時適用某些公平的標準。如果某些標準沒有為其他標準付出代價，那麼不確定時，會更少擔心應用它。但是，由於情況並非如此，我們需要了解未達到某些標準的影響。

那麼我們討論的哪個標準最適合選擇？所有這些方法都具有很好的特徵，但都有其缺點。

那麼現在情況如何？

我們不能僅在一個小角落裡劃分公平，而不為了改變世界上的不公正和在機器學習系統之外發生的歧視而抗爭。我們必須為某些領域的公平性制定一些標準，同時努力改變基礎比率。

儘管存在一些爭議以及在一些人中不受歡迎，但COMPAS軟件仍在繼續使用。開發算法的人不會因為在不知不覺中開發出帶有種族主義的算法而被指控或監禁，但必須選擇一些標準來對COMPAS試圖解決的情況進行預測。

COMPAS 軟件可能只是一個算法，它也可能不完美，但這是一個開始，而且必須得從某個地方開始。

機器學習有助於減少歧視嗎？

機器學習是一個非常強大的工具。隨著人類開始從人文主義的視角轉向數據主義的視角，這種情況越來越明顯：我們開始更多地信任算法和數據，而不是人類或自己的想法（有些人在GPS的導航下，開車開進了湖泊！）。

這使得我們使算法儘可能保持中立，這樣他們就不會在不知不覺中在歷史數據中永遠植入社會的不公，這一點非常重要。然而，算法也有巨大的潛力創造一個更公正和更平等的社會。一個很好的例子就是招聘過程。

假設你正在申請夢寐以求的工作，並且已經進入了面試的最後階段。招聘經理有權決定你是否被錄用。你是否想要公正的算法來決定你是否適合這份工作？

如果你知道招聘經理是種族主義者或性別歧視者，還會更喜歡這樣嗎？

也許招聘經理是一個非常中立的人，並且純粹基於績效來完成工作，然而，每個人都有自己的傾向和潛在的認知偏差，這可能使他們更有可能選擇他們最喜歡的候選人，而不是最好的人來工作。

如果能夠開發出公正的算法，招聘過程可能會變得更快、花費更少成本，而且數據可能會讓招聘人員找到技能更高、更適合他們公司的人。另一個潛在的結果是：工作場所更加多樣化。該軟件依靠數據從各種各樣的地方找到候選人，使他們的技能與工作要求相匹配，沒有人為的偏見。

這可能不是完美的解決方案，事實上，在司法方面很少有完美的答案。然而，歷史的弧線似乎傾向於正義，所以也許這將使正義進一步向前發展。

另一個很好的例子是自動貸款承銷。與傳統的人工承銷相比，自動承銷能更準確地預測某人是否會拖欠貸款，而且它的準確性更高，使得借款人的批准率更高，尤其是對服務水平不高的申請人來說。這樣做的結果是，有時機器學習算法在做出最準確的分類方面比人類做得更好，也可以解決招聘和信貸審批等領域存在的歧視問題。

機會均等優化只是用於改進機器學習系統的眾多工具之一，僅靠數學不太可能帶來最佳解決方案。解決機器學習中的歧視問題最終需要採取嚴謹的多學科方法。

——谷歌