澎湃新聞見習(xí)記者 虞涵棋 記者 蔣晨悅

微軟的人工智能(AI)聊天機(jī)器人Tay

去年3月，微軟的人工智能(AI)聊天機(jī)器人Tay(小冰的美國姊妹版)在推特上線，可以與任何@她的推特用戶聊天。短短24小時后，一個甜美、禮貌的"小姑娘"竟然開始臟話連篇，甚至爆出不少種族主義和性別歧視的言論。這個速成的"AI希特勒"引發(fā)網(wǎng)民震驚，被微軟草草關(guān)進(jìn)"小黑屋"。

而在4月14日的《科學(xué)》雜志上，美國普林斯頓大學(xué)和英國巴斯大學(xué)的一個聯(lián)合團(tuán)隊發(fā)表了最新研究，證實(shí)了這一現(xiàn)象:AI也會表現(xiàn)出各種偏見和歧視，這些偏見涉及種族、性別、年齡等。

論文的作者之一、英國巴斯大學(xué)教授Joanna Bryson說道，"人們會說實(shí)驗(yàn)說明AI有歧視。不是的。這其實(shí)說明我們?nèi)祟愑衅缫?，被AI習(xí)得了。"

深度學(xué)習(xí)的陰暗面

該團(tuán)隊發(fā)明了一種詞嵌入關(guān)聯(lián)性測試(WEAT)的方法來測試AI固有的一些偏見。研究者的靈感來源于一種內(nèi)隱聯(lián)想測試(IAT)的心理學(xué)工具。在IAT測試中，計算機(jī)屏幕上閃現(xiàn)一些特性的詞匯，而被試者對這些詞匯組合不同的反應(yīng)速度暗示了人們心中隱藏的一些聯(lián)想。如果被試者對一些白人常用英文名和積極詞匯組成的詞組、黑人常用英文名和消極詞匯組成的詞組，有更快的反應(yīng)，這就指向了潛意識里可能存在的種族偏見。

在WEAT測試中，研究者們不再測試AI對不同詞匯組合的反應(yīng)速度，而是量化地評估AI被內(nèi)嵌的詞匯之間的相似程度。

詞匯內(nèi)嵌(Word Embedding)是機(jī)器學(xué)習(xí)中的重要工具，主要應(yīng)用在文本分析、網(wǎng)頁檢索和翻譯領(lǐng)域。論文的另一作者、普林斯頓大學(xué)的Arvind Narayanan說道，"我們之所以選擇分析詞匯內(nèi)嵌，很大的一個原因就是它在過去幾年中大大幫助了AI理解我們的語言。"

具體來說，人類語言的詞匯是以一串?dāng)?shù)字的形式輸入計算機(jī)的。研究者在不同的維度上衡量一個詞匯的意義，并賦予一個數(shù)字，形成一串?dāng)?shù)字。數(shù)字主要是基于與這個詞匯頻繁聯(lián)系在一起的其他詞匯給定的。這種看似機(jī)械性、純數(shù)學(xué)的方法，卻比單純的語義定義更能幫助機(jī)器理解人類豐富復(fù)雜的語義。

而通過分析哪些詞匯的數(shù)字串更接近，研究者就會知道AI被內(nèi)嵌了哪些關(guān)聯(lián)。比如，"冰"和"水"會經(jīng)常在文本中一起出現(xiàn)，它們的數(shù)字串也會更相似。然而，除了這些簡單的關(guān)聯(lián)之外，研究者們發(fā)現(xiàn)AI還被內(nèi)嵌了一些更為復(fù)雜的關(guān)聯(lián)。比如，"女性"和"女人"會和一些藝術(shù)和人文方面的職業(yè)聯(lián)系更密切，而"男性"和"男人"會和一些數(shù)學(xué)類和工程類的職業(yè)聯(lián)系更密切。

此外，同很多英國人和美國人在IAT測試中的表現(xiàn)一樣，AI更傾向于將白人英文名與"天賦"、"快樂"這些積極詞匯關(guān)聯(lián)，而將黑人英文名與一些令人不愉快的詞匯關(guān)聯(lián)。

基于大量網(wǎng)絡(luò)文本的深度學(xué)習(xí)令包括谷歌翻譯在內(nèi)的智能翻譯獲得了突飛猛進(jìn)的發(fā)展。但現(xiàn)在看來，AI在學(xué)習(xí)人類語言的過程中，也"被迫"學(xué)會了人類文化中固有的一些偏見。

AI"看門狗"

這項(xiàng)研究使用了一個名為"Common Crawal"的數(shù)據(jù)庫，里面包含來自網(wǎng)絡(luò)公開材料的8400億個詞匯。而研究者 單用谷歌新聞的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)時，也得到了類似的結(jié)果。

哈佛大學(xué)的數(shù)據(jù)倫理研究員Sandra Wachter說道，"這個世界有偏見，歷史數(shù)據(jù)有偏見，因此一點(diǎn)兒也不奇怪，我們得到了有偏見的數(shù)據(jù)。"

研究表明，人類社會中現(xiàn)存的不平等和偏見結(jié)構(gòu)會借助新興技術(shù)而進(jìn)一步加劇。鑒于人類正在把日常生活和工作一步步放權(quán)給AI處理，這種加劇很危險的。

這種危險性還會被另一個因素放大:人類起碼還有道德約束，而程序員在開發(fā)AI的時候，可不會想到給他們配置一套倫理道德算法，用以抵御輸入數(shù)據(jù)中的歧視傾向。

不過，Wachter也提到，人們不一定要把它視為一種威脅。"起碼我們能知道算法有偏見。算法不會騙我們。但人類是會說謊的。"她說道。

Wachter認(rèn)為，真正的問題在于，如何在不剝奪AI對人類語言的理解能力的情況下，消除算法的偏見。事實(shí)上，AI也可以當(dāng)人類的"看門狗"。"人類理論上可以開發(fā)出一套系統(tǒng)，偵查出人類決策中的偏見，并采取一些措施。這很復(fù)雜，但我們不應(yīng)逃避這個責(zé)任。"Wachter說道。

先有語言還是先有歧視?

這項(xiàng)研究還有別的意義。長期以來，人們對人類語言中歧視的起源有所爭議。一方認(rèn)為，人類文本中歧視性的傾向會潛移默化地影響社會的價值倫理;另一方認(rèn)為，人類社會上的歧視性價值導(dǎo)致了文本中歧視性內(nèi)容的出現(xiàn)?，F(xiàn)在，WEAT有望解答這個類似于先有雞還是先有蛋的問題。

WEAT可以針對某一個歷史階段的文本對AI進(jìn)行測試，并與之后一個歷史階段的IAT測試結(jié)果進(jìn)行比對。如果WEAT結(jié)果的變化先于IAT結(jié)果的變化，這就說明人類的語言會催化社會上歧視性觀點(diǎn)的形成;反之則說明是人類潛意識里的歧視性價值，倒逼生成了內(nèi)嵌有歧視的文本。