《人機(jī)對(duì)齊》導(dǎo)讀

每日聽書|《人機(jī)對(duì)齊》怎樣讓AI擁有人類的價(jià)值觀？這本書能為你1、幫助你深刻理解人工智能的倫理問(wèn)題，引導(dǎo)你更加負(fù)責(zé)任地使用科技；2、帶你走進(jìn)科學(xué)家們積極應(yīng)對(duì)AI未來(lái)問(wèn)題的計(jì)劃，探索可能的解決方案；3、讓你看清人工智能的未來(lái)，思考AI對(duì)社會(huì)和倫理的影響；4、幫助你認(rèn)識(shí)到科技與文化之間的相互影響，解析人類的科技?xì)v史。適合誰(shuí)聽1、對(duì)人工智能和倫理問(wèn)題感興趣的科技愛(ài)好者和從業(yè)者；2、尋求深度科普讀物，希望了解人工智能發(fā)展歷程的人；3、對(duì)跨學(xué)科研究和科技與文化互動(dòng)感興趣的人。書籍信息：書名：《人機(jī)對(duì)齊》原作名：TheAlignmentProblem作者：[美]布萊恩·克里斯汀譯者：唐璐出版社：湖南科學(xué)技術(shù)出版社出版年：2023-6定價(jià)：98裝幀：平裝ISBN：9787571021733內(nèi)容簡(jiǎn)介如今的“機(jī)器學(xué)習(xí)”系統(tǒng)已具備非凡能力，能夠在各種場(chǎng)合代替我們看和聽，并代表我們做決定。但是警鐘已經(jīng)敲響。隨著機(jī)器學(xué)習(xí)飛速發(fā)展，人們的擔(dān)憂也在與日俱增。如果我們訓(xùn)練的人工智能（AI）做的事情與我們真正的目的不符，就會(huì)引發(fā)潛在的風(fēng)險(xiǎn)和倫理問(wèn)題。研究人員稱之為對(duì)齊問(wèn)題（thealignmentproblem）。暢銷書作家布萊恩?克里斯汀用生動(dòng)的筆調(diào)，清晰闡釋了AI與我們息息相關(guān)的問(wèn)題。在書中，我們將認(rèn)識(shí)第一批積極應(yīng)對(duì)對(duì)齊問(wèn)題的學(xué)者，了解他們?yōu)榱吮苊釧I發(fā)展的局面失控，付出的卓絕努力和雄心勃勃的計(jì)劃。克里斯汀不僅精練地描繪了機(jī)器學(xué)習(xí)的發(fā)展史，并且親自深入科研一線同科學(xué)家對(duì)話，準(zhǔn)確呈現(xiàn)了機(jī)器學(xué)習(xí)最前沿的進(jìn)展。讀者可以清晰認(rèn)識(shí)到，對(duì)齊問(wèn)題研究的成敗，將對(duì)人類的未來(lái)產(chǎn)生決定性影響。對(duì)齊問(wèn)題還是一面鏡子，將人類自身的偏見和盲點(diǎn)暴露出來(lái)，讓我們看清自己從未闡明的假設(shè)和經(jīng)常自相矛盾的目標(biāo)。這是一部精彩紛呈的跨學(xué)科史詩(shī)，不僅審視了人類的科技，也審視了人類的文化，時(shí)而讓人沮喪，時(shí)而又柳暗花明。作者簡(jiǎn)介布萊恩·克里斯?。˙rianChristian），暢銷書作家，他的《算法之美》（AlgorithmstoLiveBy，與TomGriffiths合著），入選了亞馬遜年度zui佳科學(xué)書籍和MIT技術(shù)評(píng)論年度zui佳書籍；《人機(jī)大戰(zhàn)》（TheMostHumanHuman）廣受好評(píng)，入選了《紐約時(shí)報(bào)》編輯選書，也是《紐約客》年度zui受歡迎書籍。他的作品贏得了多個(gè)獎(jiǎng)項(xiàng)，入選了《美國(guó)最佳科學(xué)和自然寫作》，被譯成了19種語(yǔ)言?？死锼雇碛胁祭蚀髮W(xué)和華盛頓大學(xué)的計(jì)算機(jī)科學(xué)、哲學(xué)和詩(shī)歌學(xué)位，是加州大學(xué)伯克利分校的訪問(wèn)學(xué)者。前言你好，歡迎每天聽本書，我是陳章魚。今天我要為你解讀的這本書叫《人機(jī)對(duì)齊》。這本書2023年6月出版，作者布萊恩·克里斯汀是一位暢銷書作家，他長(zhǎng)期關(guān)注計(jì)算機(jī)科學(xué)的前沿動(dòng)態(tài)，得到聽書解讀過(guò)他的作品《算法之美》。這一次，他的這本《人機(jī)對(duì)齊》談的是目前人工智能領(lǐng)域最重要的課題之一。人機(jī)對(duì)齊，就是讓AI的價(jià)值觀和人類的價(jià)值觀保持一致。更通俗地說(shuō)，就是怎么讓人工智能更像個(gè)人。在科幻作品里，咱們常常能看到這種情節(jié)：AI變得比人類更聰明，于是統(tǒng)治人類，把人類變成奴隸。有的時(shí)候人類也會(huì)想辦法用各種規(guī)則限制AI，不過(guò)也未必能如愿。比如你可能聽過(guò)科幻作家阿西莫夫提出的“機(jī)器人三定律”，第一條定律就是機(jī)器人不能傷害人類。但是，在阿西莫夫的故事里，機(jī)器人擁有掌控世界的力量之后，就把所有人類都囚禁在家中。機(jī)器人的邏輯是，你們?nèi)祟惪偸菭?zhēng)斗，甚至?xí)ハ鄽⒙?，我為了保護(hù)你們不受傷害，只能把你們?nèi)P(guān)在家里了。在這篇小說(shuō)誕生的1942年，這只是小說(shuō)家的奇談。但是現(xiàn)在，這些擔(dān)心不再是杞人憂天了。AI開始越來(lái)越多介入到人們的生活中，商家為你推薦什么商品，網(wǎng)站為你推薦什么視頻，銀行要不要讓你的信用卡擁有更大的額度，婚介為你介紹什么樣的相親對(duì)象，甚至是公司是否要錄取某個(gè)求職者，法庭要不要允許一個(gè)人被保釋，這些決策的背后，有越來(lái)越多的人工智能算法在參與。這本書中有個(gè)比喻很有意思：AI的能力越來(lái)越強(qiáng)，應(yīng)用的領(lǐng)域越來(lái)越多，人類就越來(lái)越像奇幻小說(shuō)中的那種半吊子魔法師，懂一點(diǎn)魔法，又不是完全精通，自己憑感覺(jué)琢磨咒語(yǔ)，有的時(shí)候就會(huì)害怕自己勁兒大了。原本想召喚一團(tuán)火焰，結(jié)果變成一個(gè)大火球。一旦我們發(fā)現(xiàn)咒語(yǔ)不準(zhǔn)確或者不完整，又手忙腳亂地阻止，免得我們的智慧召喚出什么可怕的巨龍。那么，怎么防止AI訓(xùn)練出現(xiàn)問(wèn)題呢？這本書當(dāng)中針對(duì)不同的算法，指出背后對(duì)應(yīng)的問(wèn)題，還有可能的解決方案?？偨Y(jié)起來(lái)一共有三種情況，咱們一個(gè)一個(gè)慢慢說(shuō)。第一部分我們先來(lái)說(shuō)第一種可能出現(xiàn)的問(wèn)題。你可能聽說(shuō)過(guò)谷歌鬧過(guò)的一個(gè)大烏龍。2015年，谷歌圖片推出過(guò)一項(xiàng)功能，用戶上傳照片之后，網(wǎng)站會(huì)借助AI技術(shù)自動(dòng)給照片打標(biāo)簽。比如有人上傳一張和狗狗一起在海邊的照片，AI就會(huì)標(biāo)記“海邊旅行”“狗”，這樣方便用戶去搜索自己的照片。但是，一位軟件工程師在試用這項(xiàng)功能時(shí)，發(fā)現(xiàn)自己的圖庫(kù)里有一個(gè)標(biāo)簽叫“大猩猩”。這讓他很奇怪，他也沒(méi)去動(dòng)物園拍過(guò)大猩猩。點(diǎn)進(jìn)去他發(fā)現(xiàn)，里邊都是他給一位黑人朋友拍的照片。這位工程師截了一張圖發(fā)到了推特上，他的評(píng)論是：“谷歌照片，你們搞砸了。我的朋友不是大猩猩。”這件事在網(wǎng)上引起了軒然大波，谷歌不得不出面道歉。為什么會(huì)出現(xiàn)這樣的問(wèn)題呢？不是因?yàn)锳I進(jìn)化出了思想，有意識(shí)地歧視黑人。我們得插入一點(diǎn)科普，目前最流行的訓(xùn)練AI的算法有三種。谷歌的圖片識(shí)別，用的是一種叫“監(jiān)督學(xué)習(xí)”的算法。這種方法有點(diǎn)像爸爸媽媽教小朋友，給小朋友看這是大象、這是斑馬，小朋友看得多了自己就認(rèn)識(shí)了。問(wèn)題是，如果爸爸媽媽教小朋友認(rèn)蘋果，但是只讓小朋友看紅蘋果，那么小朋友看到綠蘋果的時(shí)候，他就可能認(rèn)為這是個(gè)梨。谷歌的問(wèn)題也是這樣。因?yàn)楣雀璧墓こ處熤泻谌吮容^少，所以谷歌用來(lái)訓(xùn)練AI的圖片庫(kù)中，黑人圖片沒(méi)有白人圖片多，AI在看到不熟悉的東西時(shí)，更容易出錯(cuò)。你可能會(huì)說(shuō)，那這樣的偏見應(yīng)該不難消除吧？實(shí)際上，修正AI的難度比我們想象中要大很多。谷歌后來(lái)也沒(méi)有從技術(shù)上解決這個(gè)問(wèn)題，他們只能禁止了“大猩猩”這個(gè)標(biāo)簽，用戶就算上傳真的大猩猩圖片，AI也不會(huì)給圖片打這個(gè)標(biāo)簽了。這本《人機(jī)對(duì)齊》中給出的另一個(gè)例子更能體現(xiàn)問(wèn)題。美國(guó)有一位計(jì)算機(jī)專業(yè)的大學(xué)生叫布蘭維尼。布蘭維尼有一次做計(jì)算機(jī)課的作業(yè)，她想做一個(gè)程序，讓人和計(jì)算機(jī)可以玩躲貓貓。編程的過(guò)程十分順利，但是有一個(gè)問(wèn)題：機(jī)器人無(wú)法識(shí)別布蘭維尼的臉，她是個(gè)黑人女孩。最后布蘭維尼只能借室友的臉完成作業(yè)。到了大學(xué)快畢業(yè)時(shí)，布蘭維尼來(lái)到香港參加一個(gè)創(chuàng)業(yè)比賽，她看到一家中國(guó)公司研發(fā)的社交機(jī)器人，這個(gè)機(jī)器人也認(rèn)不出布蘭維尼的臉。就像布蘭維尼自己說(shuō)的，“在世界的另一端，我了解到算法偏見的傳播速度與從互聯(lián)網(wǎng)下載文件的速度一樣快”。布蘭維尼碩士畢業(yè)后，去了MIT的實(shí)驗(yàn)室，在那里她又做了一個(gè)項(xiàng)目，叫“勵(lì)志鏡子”，就是研發(fā)一種增強(qiáng)現(xiàn)實(shí)的鏡子，用戶在照鏡子的時(shí)候給出勵(lì)志的視覺(jué)效果，比如，讓照鏡子的人變成獅子。同樣，效果很好，只有一個(gè)問(wèn)題。AI還是認(rèn)不出布蘭維尼的臉，她自己照鏡子時(shí)必須戴一個(gè)白色面具。后來(lái)，布蘭維尼測(cè)試了微軟和IBM研發(fā)的人臉識(shí)別系統(tǒng)。發(fā)現(xiàn)這些系統(tǒng)都有類似的問(wèn)題，識(shí)別男性面部的準(zhǔn)確率比識(shí)別女性高10%到20%，識(shí)別淺膚色面孔的準(zhǔn)確率要比識(shí)別深膚色面孔要高10%到20%。那么，為什么這種問(wèn)題解決起來(lái)比我們想象中要難呢？畢竟讓AI多看一些圖片，這個(gè)問(wèn)題就不會(huì)出現(xiàn)了。我們來(lái)看一個(gè)AI出現(xiàn)之前的案例，不過(guò)從這個(gè)案例，我們就能看出問(wèn)題的關(guān)鍵。在拍電影還要用膠片的時(shí)代，好萊塢的攝影師們會(huì)用“雪莉卡片”來(lái)調(diào)校顏色。“雪莉卡片”是一張標(biāo)準(zhǔn)照片，這張照片是個(gè)叫雪莉的白人女孩，她是柯達(dá)公司的員工。一開始是柯達(dá)公司為了方便這么做的，隨著柯達(dá)公司的影響力，“雪莉卡片”成了行業(yè)標(biāo)準(zhǔn)。在那個(gè)時(shí)代，柯達(dá)公司生產(chǎn)的膠片甚至還會(huì)根據(jù)白人的膚色，去調(diào)整自己的化學(xué)工藝。其實(shí)這在當(dāng)時(shí)都挺順理成章的，因?yàn)榻^大多數(shù)演員和模特都是白人。結(jié)果就是那個(gè)時(shí)候的攝像機(jī)根本拍不好黑人。按說(shuō)攝像機(jī)不是人，鏡頭拍下來(lái)的內(nèi)容不會(huì)有偏見，可是當(dāng)人們按照白人來(lái)調(diào)校攝像機(jī)的參數(shù)，按照白人來(lái)調(diào)整膠片的工藝，鏡頭就帶上了偏見。我們想象一下，就算一個(gè)黑人演員和白人演員在鏡頭前公平競(jìng)爭(zhēng)，他們的演技和長(zhǎng)相都不相上下，但是黑人演員拍出來(lái)就是沒(méi)有白人演員好看，那么就更容易被淘汰。反過(guò)來(lái)，因?yàn)殓R頭前都是白人，鏡頭和膠片再改進(jìn)技術(shù)，目標(biāo)也都是怎么把白人拍得好看。這就變成了一個(gè)循環(huán)。后續(xù)的故事有點(diǎn)黑色幽默：到了上世紀(jì)60年代，柯達(dá)的膠卷對(duì)于深色的表現(xiàn)力越來(lái)越好。你可能以為這是當(dāng)時(shí)美國(guó)的民權(quán)運(yùn)動(dòng)在起作用，實(shí)際上，原因是家具廠商希望能給深色木材拍出更好的效果，巧克力廠商希望給巧克力拍出更好的效果。但是黑人演員、黑人模特卻因此意外獲得了機(jī)會(huì)。AI時(shí)代也是如此，每個(gè)人臉識(shí)別系統(tǒng)背后都是一個(gè)圖像庫(kù)，里邊有幾萬(wàn)張乃至幾十萬(wàn)張圖片。這些圖片，就是21世紀(jì)的“雪莉卡片”。雖然從一張“雪莉卡片”變成了幾十萬(wàn)張圖片，但是背后思路是不變的：選擇少數(shù)圖片作為代表，作為接下來(lái)工作的指導(dǎo)。因?yàn)槎嘁恍﹫D片，就意味著增加工作量和增加成本。你得先花費(fèi)大量人工把每一張訓(xùn)練圖里都有什么內(nèi)容標(biāo)記好，再“喂”給AI訓(xùn)練。時(shí)間有限、成本有限，根本不可能讓AI看遍世界上所有的圖片，那么開發(fā)者只能選擇自己認(rèn)為有代表性的。有選擇，就意味著可能產(chǎn)生偏見。這是AI的第一種偏見，可以說(shuō)是因?yàn)橐曇笆芟薅a(chǎn)生的偏見。那么這樣的偏見可以消除嗎？這本書認(rèn)為，要消除這樣的偏見，重要的是公開AI訓(xùn)練所用的數(shù)據(jù)集，讓別人來(lái)監(jiān)督這個(gè)數(shù)據(jù)集是不是真的具有足夠的代表性。如果訓(xùn)練出來(lái)的AI將會(huì)影響很多人，那么應(yīng)該讓這些人了解，訓(xùn)練AI時(shí)選擇的素材是不是真的考慮到了他們之中的所有人。第二部分如果當(dāng)訓(xùn)練AI的時(shí)候，用的數(shù)據(jù)集足夠廣泛，沒(méi)有遺漏，是不是這樣訓(xùn)練出來(lái)的AI就沒(méi)有偏見呢？還真有這樣的訓(xùn)練方法。前邊咱們說(shuō)到，AI在圖像識(shí)別領(lǐng)域用的訓(xùn)練方法叫“監(jiān)督學(xué)習(xí)”。在其他領(lǐng)域還有另一種方法，叫“無(wú)監(jiān)督學(xué)習(xí)”，把海量的數(shù)據(jù)“喂”給AI，你不用標(biāo)記每個(gè)數(shù)據(jù)是什么，AI看得多了會(huì)自動(dòng)發(fā)現(xiàn)其中的規(guī)律和聯(lián)系。如果說(shuō)“監(jiān)督學(xué)習(xí)”是老師教學(xué)生，那“無(wú)監(jiān)督學(xué)習(xí)”就像是讓AI上自習(xí)，反正AI非常勤奮，讓它自己調(diào)研大量?jī)?nèi)容，看多了就會(huì)了。因?yàn)檫@種方式不需要提前標(biāo)記數(shù)據(jù)，所以理論上可以讓AI看無(wú)限量的數(shù)據(jù)，避免視野受限出現(xiàn)的問(wèn)題。不過(guò)這個(gè)時(shí)候，新的問(wèn)題又顯現(xiàn)出來(lái)了。書里邊又舉了一個(gè)關(guān)于谷歌的案例，可能是谷歌在人工智能領(lǐng)域走得比較靠前，所以成績(jī)多，問(wèn)題也多。谷歌開發(fā)了一種人工智能，從報(bào)紙雜志和互聯(lián)網(wǎng)獲得了大量語(yǔ)言數(shù)據(jù)，將這些數(shù)據(jù)輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，讓AI自己去尋找詞語(yǔ)和詞語(yǔ)之間的聯(lián)系。雖然AI未必能理解這些語(yǔ)言，但是它通過(guò)自動(dòng)學(xué)習(xí)，能找到詞語(yǔ)和詞語(yǔ)之間的關(guān)聯(lián)。很快它就發(fā)現(xiàn)北京和中國(guó)有關(guān)，莫斯科和俄羅斯有關(guān)，你再問(wèn)它什么和英國(guó)有關(guān)，它就會(huì)回答倫敦。你看，AI通過(guò)自主學(xué)習(xí)理解了首都和國(guó)家這樣的關(guān)聯(lián)。谷歌的工程師給AI增加了一個(gè)功能，可以在詞語(yǔ)之間做加減法。當(dāng)然，和數(shù)學(xué)的加減法不完全一樣。如果輸入“中國(guó)+河流”，AI的回答可能是“長(zhǎng)江”。還可以是更復(fù)雜的算式，比如“巴黎-法國(guó)+意大利”，AI的回答是“羅馬”。輸入“國(guó)王-男人+女人”，就會(huì)得到“女王”。這個(gè)AI一直運(yùn)行得挺好，直到兩年后，幾個(gè)科學(xué)家隨便逗這個(gè)AI玩的時(shí)候，他們發(fā)現(xiàn)了一些問(wèn)題。輸入“醫(yī)生-男人+女人”，AI返回的答案是“護(hù)士”。更糟糕的情況是，他們輸入“店主-男人+女人”，返回的答案是“家庭主婦”，他們又輸入“計(jì)算機(jī)程序員-男人+女人”，返回的答案還是“家庭主婦”。換句話說(shuō)，這樣訓(xùn)練出來(lái)的AI，會(huì)把職業(yè)和性別關(guān)聯(lián)起來(lái)，認(rèn)為某些職業(yè)天生適合男性，某些職業(yè)天生適合女性。這當(dāng)然也不是因?yàn)锳I進(jìn)化出了思想，有意識(shí)地歧視女性，AI只會(huì)在詞語(yǔ)之間尋找關(guān)聯(lián)，海量的數(shù)據(jù)背后體現(xiàn)的是人們的偏見。那你說(shuō)，咱們把這樣的偏見抹去，不讓AI把職業(yè)和性別掛鉤行不行？你會(huì)發(fā)現(xiàn)，這件事情的難度會(huì)比想象中大很多。很多大公司都開發(fā)了AI系統(tǒng)幫助篩選簡(jiǎn)歷，比如亞馬遜。他們的思路是，給AI看過(guò)去已經(jīng)入職的員工的簡(jiǎn)歷，讓它了解在職員工都是什么樣的。AI在審查求職者簡(jiǎn)歷的時(shí)候，挑選那些和入職員工最像的人。最像在職員工的求職者，當(dāng)然就是公司需要的人。可是人們發(fā)現(xiàn)，這個(gè)系統(tǒng)在運(yùn)行中，會(huì)不自覺(jué)地帶上偏見。比如說(shuō)，現(xiàn)有的工程師團(tuán)隊(duì)男的多女的少。AI就會(huì)認(rèn)為公司需要更多男性工程師，在篩選時(shí)刷掉更多女性。你說(shuō)咱們修改系統(tǒng)，排除掉性別這一項(xiàng)，不讓AI判斷的時(shí)候看到求職者的性別。但是簡(jiǎn)歷上還會(huì)有名字，AI看到一個(gè)求職者叫麥克，一個(gè)求職者叫瑪麗，它就會(huì)覺(jué)得麥克更合適。那你說(shuō)咱們?cè)傩薷南到y(tǒng)，把名字也排除。簡(jiǎn)歷上還會(huì)寫興趣愛(ài)好，AI會(huì)根據(jù)你喜歡足球還是壘球來(lái)判斷性別；簡(jiǎn)歷上還會(huì)寫畢業(yè)院校，如果學(xué)校是某某女子學(xué)院，AI也會(huì)感覺(jué)出來(lái)。甚至，男女在寫作風(fēng)格上都會(huì)有些許不同，這種細(xì)微的不同咱們也許感覺(jué)不到，但是AI能感覺(jué)出來(lái)。老話說(shuō)“人以群分”，用這種無(wú)監(jiān)督學(xué)習(xí)的方式，AI就能把人劃分成各種群，然后把群當(dāng)做一面高墻，不是這個(gè)性別，不是這個(gè)民族，可能就進(jìn)不來(lái)。這個(gè)問(wèn)題之所以比較難解決，因?yàn)槲覀兗刃枰獰o(wú)監(jiān)督學(xué)習(xí)的不可控，又不能讓它那么不可控。設(shè)計(jì)這種算法的目的，本身就是捕捉數(shù)據(jù)中隱藏的相關(guān)性。比如我們開個(gè)腦洞，如果AI發(fā)現(xiàn)，學(xué)過(guò)一些中文的軟件工程師表現(xiàn)都更好，接下來(lái)篩選簡(jiǎn)歷時(shí)，它給懂中文候選者加分，這可能就是企業(yè)需要的。因?yàn)锳I發(fā)現(xiàn)了一種我們還意識(shí)不到的特質(zhì)，AI比人類更能慧眼識(shí)珠。但是這種相關(guān)性又不可控，企業(yè)想要的是能力強(qiáng)或者能快速融入團(tuán)隊(duì)，可是AI可能想要的是某種性別、種族?？刂普摰淖鎺煚斨Z伯特·維納，在幾十年前就說(shuō)過(guò)一句話：“我們最好確定，機(jī)器的目的是我們真正渴望的目的?！苯裉炜磥?lái)真的是非常有預(yù)見性。我在書中看到了另一個(gè)人類和AI目的沒(méi)有對(duì)齊的案例。進(jìn)入21世紀(jì)，美國(guó)有越來(lái)越多的法官借助AI來(lái)幫助做決定，比如，應(yīng)不應(yīng)該允許某個(gè)犯人保釋？最受法官歡迎的一個(gè)AI工具叫COMPAS，COMPAS能根據(jù)犯人的履歷，對(duì)他的未來(lái)給出1到10分的評(píng)分，評(píng)分越高，犯人出獄后再次犯罪的可能性就越大。從原理上講，AI在評(píng)估時(shí)候，是基于罪犯過(guò)往的犯罪史來(lái)預(yù)測(cè)未來(lái)，但是實(shí)際使用時(shí)，COMPAS展現(xiàn)出了很明顯的種族傾向。比如兩名窩藏毒品的犯人，案情非常類似，但是AI給白人的評(píng)分是3分，給黑人卻是10分。那到底是哪里出問(wèn)題了呢？是算法設(shè)計(jì)不合理嗎？有人一針見血地指出，過(guò)往的數(shù)據(jù)出了問(wèn)題。雖然這個(gè)AI設(shè)計(jì)的目的是預(yù)測(cè)一個(gè)人有沒(méi)有可能犯罪，但是一個(gè)人是否犯罪這個(gè)數(shù)據(jù)，其實(shí)捕捉不到。你可能說(shuō)不對(duì)吧？有警察局的記錄和法庭的卷宗啊。但是你要注意，那其實(shí)不是有多少人犯罪的數(shù)據(jù)，而是有多少人被警察抓捕，有多少人被法庭定罪的數(shù)據(jù)。所以，COMPAS這個(gè)AI預(yù)測(cè)的，其實(shí)不是一個(gè)犯人出獄后，有多大的可能性再次犯罪，而是有多大的可能性再次被捕和再次定罪。這樣我們就理解為什么案情類似，COMPAS給白人罪犯和黑人罪犯的打分有這么大區(qū)別了。在美國(guó)，警察抓捕和法庭宣判的時(shí)候，確實(shí)對(duì)黑人會(huì)比較嚴(yán)厲。書中有一個(gè)說(shuō)法讓我印象深刻，前邊咱們說(shuō)如果人類教AI認(rèn)蘋果，只看到紅蘋果沒(méi)看到綠蘋果，會(huì)讓AI產(chǎn)生偏見，另一方面，如果有人一直把獅子誤認(rèn)為是貓，那也沒(méi)法指望AI真的能認(rèn)出獅子和貓。你看，這個(gè)劇情是不是越來(lái)越像科幻小說(shuō)家們幻想過(guò)的場(chǎng)景了？人們希望AI秉公執(zhí)法，AI卻陰錯(cuò)陽(yáng)差帶上了偏見。這么看來(lái)，不論是監(jiān)督學(xué)習(xí)還是無(wú)監(jiān)督學(xué)習(xí)，都容易出現(xiàn)問(wèn)題。監(jiān)督學(xué)習(xí)因?yàn)閿?shù)據(jù)集有限，很可能因?yàn)橐曇笆芟蕹霈F(xiàn)偏見，忽略那些看不見的人群。無(wú)監(jiān)督學(xué)習(xí)倒是沒(méi)有這個(gè)顧慮，視野開闊了，可是又不受控，有時(shí)會(huì)出現(xiàn)奇思妙想，有時(shí)會(huì)出現(xiàn)胡思亂想，就算是能客觀體現(xiàn)人們以往的想法，但是如果之前的想法中本身就帶有偏見，這種偏見就很難根除。不論用哪種方式訓(xùn)練的AI，我是不太敢把審判的權(quán)力交給它。好在，我們還有另一種訓(xùn)練AI的方法。第三部分前邊我們說(shuō)到過(guò)，目前最流行的訓(xùn)練AI的算法有三種。咱們已經(jīng)聊了“監(jiān)督學(xué)習(xí)”和“無(wú)監(jiān)督學(xué)習(xí)”，第三種方法叫“強(qiáng)化學(xué)習(xí)”，AI每做出一個(gè)決定，都給它一個(gè)反饋，比如說(shuō)加分還是扣分。強(qiáng)化學(xué)習(xí)就像是教練訓(xùn)練運(yùn)動(dòng)員，運(yùn)動(dòng)員哪個(gè)動(dòng)作出錯(cuò)了，馬上就被指出來(lái)，立即給你糾正。當(dāng)年的AlphaGo用的就是強(qiáng)化學(xué)習(xí)的原理。這種機(jī)制看起來(lái)更加靠譜，教練訓(xùn)練運(yùn)動(dòng)員、老師傅帶徒弟、職場(chǎng)培訓(xùn)新員工，差不多都是用這樣的方式。不過(guò)這種方式也有潛在的問(wèn)題，就是讓AI過(guò)于專注“動(dòng)作”，而忽略了背后的“愿景”。書中有個(gè)很有趣的案例，作者的朋友是一位經(jīng)濟(jì)學(xué)家，最近他在訓(xùn)練小兒子上廁所，他希望幾歲大的女兒也能參與進(jìn)來(lái)。為了增加積極性，他就制定了一個(gè)規(guī)則：每一次姐姐陪弟弟上廁所，爸爸就給姐姐一塊糖。幾天以后，這個(gè)幾歲的小姑娘就進(jìn)行了人生中可能是第一次推理，找到了規(guī)則的漏洞。她發(fā)現(xiàn)弟弟喝水越多，上廁所就越多。于是，她開始每天給弟弟灌水。你看，這就是強(qiáng)化學(xué)習(xí)可能會(huì)帶來(lái)的問(wèn)題。咱們平時(shí)也都看到過(guò)類似的情況，一家公司里邊員工每天兢兢業(yè)業(yè)完成任務(wù)，該做的動(dòng)作都挺標(biāo)準(zhǔn)，可是這些動(dòng)作是不是真的能給公司帶來(lái)收益，是不是真的對(duì)業(yè)務(wù)發(fā)展有好處，員工并不關(guān)心。但是我們也不能說(shuō)就是員工沒(méi)有責(zé)任心，有的時(shí)候是老板讓員工做這個(gè)做那個(gè)，可是這些動(dòng)作和公司發(fā)展之間有什么關(guān)系，他自己也未必想清楚了。人類和AI之間，也是這么個(gè)關(guān)系。如果是訓(xùn)練AI下圍棋，這種規(guī)則明確的情況還比較好處理，但是面對(duì)更復(fù)雜的場(chǎng)景時(shí)，我們其實(shí)都是腦子沒(méi)有那么清楚的老板，動(dòng)作和愿景之間的關(guān)系，我們也沒(méi)法確定。這怎么辦呢？目前計(jì)算機(jī)科學(xué)家們已經(jīng)找到了幾種解決的思路。一種思路是模仿，既然場(chǎng)景復(fù)雜，我們沒(méi)法拆解出一個(gè)個(gè)步驟，制定出那么詳細(xì)的獎(jiǎng)懲規(guī)則，那就讓人類示范，AI模仿。在這個(gè)過(guò)程中，AI會(huì)慢慢消化我們的一些價(jià)值觀。自動(dòng)駕駛就是典型的例子，想要用一套規(guī)則讓AI明白應(yīng)該怎么開車，確實(shí)有點(diǎn)困難，AI可能沒(méi)法理解什么叫“在保持安全的情況下盡快開過(guò)去”。那就找一位優(yōu)秀的司機(jī)示范一下，尤其是復(fù)雜的路況下，比如有人橫穿馬路，汽車和自行車混行，看這位有經(jīng)驗(yàn)的司機(jī)是怎么處理的，讓AI去學(xué)習(xí)。這也是目前自動(dòng)駕駛領(lǐng)域最好的訓(xùn)練AI的方法。再有一種思路，計(jì)算機(jī)科學(xué)家稱之為“逆強(qiáng)化學(xué)習(xí)”。聽這個(gè)名字你就知道，這種思路是和“強(qiáng)化學(xué)習(xí)”對(duì)應(yīng)的。你可以把強(qiáng)化學(xué)習(xí)想象成一個(gè)游戲。在這個(gè)游戲中，AI采取各種行動(dòng)，比如向前走、向后走、跳躍等等。每當(dāng)它采取行動(dòng)，環(huán)境就會(huì)給予它一些分?jǐn)?shù)作為獎(jiǎng)勵(lì)。AI的目標(biāo)就是一次次嘗試，找出一種策略，使得它能夠獲得最多的分?jǐn)?shù)，所以它有可能會(huì)鉆規(guī)則的空子，用一種我們想象不到的方式“刷分”。所以，在強(qiáng)化學(xué)習(xí)中，是規(guī)則不變，AI琢磨應(yīng)該怎么行動(dòng)。而逆強(qiáng)化學(xué)習(xí)，就像是AI看別人打游戲，它看到玩家向前走、向后走，然后分?jǐn)?shù)在變化。讓AI去猜想，到底這個(gè)游戲是個(gè)什么規(guī)則。換句話說(shuō)，在逆強(qiáng)化學(xué)習(xí)中，AI琢磨的是規(guī)則。用這種方法，我們就能看到，在AI眼中，我們制定的規(guī)則是什么樣的，和我們想象中的愿景是否一致，不一致的話應(yīng)該怎樣改進(jìn)。這給了我們一個(gè)不一樣的視角，畢竟我們的目標(biāo)是“對(duì)齊”，如果只