2024先進(jìn)人工智能安全國(guó)際科學(xué)報(bào)告

5InternationalScientificReportontheSafetyofAdvancedAI:InterimReport前言7執(zhí)行摘要9通用AI如何獲得其能力？18當(dāng)前的通用AI系統(tǒng)能夠?qū)崿F(xiàn)19能力按方式20能力和限制技能21最近的趨勢(shì)能力及其驅(qū)動(dòng)因素22最近的趨勢(shì)在計(jì)算，數(shù)據(jù)和算法22最近的趨勢(shì)能力25能力進(jìn)步在未來29,如果資源繼續(xù)快速擴(kuò)展，這是否會(huì)導(dǎo)致快速發(fā)展？30將迅速擴(kuò)大資源規(guī)模？30算法的進(jìn)步會(huì)帶來快速的進(jìn)步？323方法評(píng)估和理解通用人工智能系統(tǒng)34通用AI評(píng)估用于評(píng)估模型功能和影響。34模型性能分析方法35案例研究35基準(zhǔn)35紅色團(tuán)隊(duì)和對(duì)抗性攻擊36審計(jì)37模型透明度、解釋和解釋38挑戰(zhàn)與研究通用AI系統(tǒng)394風(fēng)險(xiǎn)416InternationalScientificReportontheSafetyofAdvancedAI:InterimReport5的技術(shù)方法來減輕風(fēng)險(xiǎn)685.1風(fēng)險(xiǎn)管理與安全工程685.2培訓(xùn)更多值得信賴的模型725.2.1使通用AI系統(tǒng)與開發(fā)人員的意圖保持一致725.2.5分析和編5.4技術(shù)方法公平和表示在通用人工智能系統(tǒng)785.4.1減輕偏見和歧視的工作貫穿于通用人工智能的開發(fā)和部署階段795.4.2通用人工智能系統(tǒng)的公平性是實(shí)現(xiàn)的？805.4.3挑戰(zhàn)實(shí)現(xiàn)5.5隱私方法的通用AI系統(tǒng)81主席關(guān)于中期報(bào)告的說明84不同觀點(diǎn)86詞匯表87參考文獻(xiàn)917,我很榮幸主持發(fā)布首屆《高級(jí)人工智能安全國(guó)際科學(xué)報(bào)告》。我很自豪地發(fā)布這份中期報(bào)告，這是自2023年11月布萊奇利公園人工智能安全峰會(huì)委托這項(xiàng)工作以來的六個(gè)月里，許多專家付出了巨大努力的結(jié)果。我們知道先進(jìn)的人工智能正在迅速發(fā)展，而且這些先進(jìn)的人工智能系統(tǒng)如何影響我們未來的生活和工作方式存在很大的不確定性。人工智能有巨大的潛力讓我們的生活變得更好，但它也帶來了傷害的風(fēng)險(xiǎn)。這就是為什么要進(jìn)行徹底的分析現(xiàn)有的科學(xué)文獻(xiàn)和專家意見至關(guān)重要。我們知道的越多，我們就越有能力塑造我們的集體命運(yùn)。我們的使命很明確:推動(dòng)對(duì)高級(jí)人工智能安全性的共享、基于科學(xué)的、最新的理解，并隨著時(shí)間的推移繼續(xù)發(fā)展這種理解。該報(bào)告正確地強(qiáng)調(diào)了專家之間存在共識(shí)的領(lǐng)域，以及對(duì)高級(jí)人工智能的能力和風(fēng)險(xiǎn)的分歧，特別是那些預(yù)計(jì)在未來開發(fā)的。為了有效地履行我們的使命，我們的目標(biāo)是解決知識(shí)分子誠(chéng)實(shí)的專家社區(qū)之間的分歧。通過剖析這些差異，我們?yōu)槊髦堑臎Q策鋪平了道路，并刺激了有助于消除迷霧和減輕風(fēng)險(xiǎn)所需的研究。我感謝我們的國(guó)際專家咨詢小組的寶貴意見，這些意見最初確定了報(bào)告的范圍，后來又對(duì)整個(gè)草案提供了反饋。他們的不同觀點(diǎn)和認(rèn)真審查擴(kuò)大并加強(qiáng)了這份臨時(shí)報(bào)告。同樣值得認(rèn)可的是我敬業(yè)的作家和高級(jí)顧問團(tuán)隊(duì)。他們?cè)谶^去幾個(gè)月的承諾創(chuàng)造了一個(gè)超出我預(yù)期的臨時(shí)產(chǎn)品。我還要感謝英國(guó)政府啟動(dòng)這一進(jìn)程并提供出色的運(yùn)營(yíng)支持。對(duì)我來說，同樣重要的是，英國(guó)政府同意撰寫這份報(bào)告的科學(xué)家應(yīng)該擁有完全的獨(dú)立性。這份中期報(bào)告只是旅程的開始。毫無(wú)疑問，這份報(bào)告在第一次嘗試中未能捕捉到的觀點(diǎn)和證據(jù)。在這樣的科學(xué)過程中，反饋是寶貴的。我們將納入更多的證據(jù)和科學(xué)的觀點(diǎn)，因?yàn)槲覀儗?duì)最終版本的工作。YoshuaBengio教授蒙特利爾大學(xué)/Mila-魁北克人工智能研究所和主席8關(guān)于高級(jí)AI安全性的國(guó)際科學(xué)報(bào)告:中期報(bào)告我很高興向您介紹有關(guān)高級(jí)AI安全性的第一份國(guó)際科學(xué)報(bào)告的臨時(shí)更新，這是2023年11月在布萊奇利公園舉行的開創(chuàng)性AI安全峰會(huì)的重要成果。這份具有里程碑意義的報(bào)告代表了全球前所未有的努力，以建立對(duì)人工智能快速發(fā)展所帶來的機(jī)遇和風(fēng)險(xiǎn)的共同的，基于科學(xué)的理解，并證明了“布萊奇利效應(yīng)”-召集才華橫溢的頭腦來應(yīng)對(duì)人類最大的挑戰(zhàn)之一。我們認(rèn)為，要實(shí)現(xiàn)人工智能造福人類的巨大潛力，需要積極努力，以確保安全、負(fù)責(zé)任地開發(fā)和部署這些強(qiáng)大的技術(shù)。沒有一個(gè)國(guó)家能夠獨(dú)自應(yīng)對(duì)這一挑戰(zhàn)。這就是為什么我如此熱衷于將一群世界領(lǐng)先的專家聚集在一起，貢獻(xiàn)他們的知識(shí)和觀點(diǎn)。我要特別感謝YoshuaBengio教授作為主席在巧妙地指導(dǎo)這一復(fù)雜的國(guó)際努力方面發(fā)揮的領(lǐng)導(dǎo)作用。至關(guān)重要的是，該報(bào)告還揭示了我們當(dāng)前知識(shí)中的重大差距以及迫切需要進(jìn)一步研究和討論的關(guān)鍵不確定性和辯論。我真誠(chéng)地希望，這份報(bào)告及其背后的合作進(jìn)程能夠成為縮小關(guān)鍵知識(shí)差距所需的研究和政策努力的催化劑，并為未來具有挑戰(zhàn)性的政策選擇提供寶貴的投入。我們還有很多東西要學(xué)，但這份報(bào)告標(biāo)志著一個(gè)重要的開始。英國(guó)期待繼續(xù)與國(guó)際伙伴合作，促進(jìn)負(fù)責(zé)任的、以人為本的人工智能發(fā)展方法--利用這些強(qiáng)大的工具來改善生活和生計(jì)，同時(shí)警惕地防范下行風(fēng)險(xiǎn)和傷害。我們可以共同努力，建設(shè)一個(gè)全人類都能從人工智能的奇跡中受益的未來。,RtHonMichelleDonelan議員，科學(xué)，創(chuàng)新和技術(shù)部國(guó)務(wù)卿人工智能的快速發(fā)展將以深刻和不可預(yù)見的方式重塑我們的世界。從革命性的醫(yī)療保健和運(yùn)輸?shù)阶詣?dòng)化復(fù)雜任務(wù)和解鎖科學(xué)突破，人工智能的積極影響潛力是不可否認(rèn)的。然而，除了這些顯著的可能性之外，還存在著重大的挑戰(zhàn)，需要采取前瞻性的方法。關(guān)注的范圍從嵌入算法中的意外偏見到自治系統(tǒng)超過人控制。這些在風(fēng)險(xiǎn)凸顯了迫切需要進(jìn)行全球?qū)υ?，以確保人工智能的安全和負(fù)責(zé)任的發(fā)展。在這種情況下，國(guó)際人工智能安全報(bào)告將為全球合作提供重要的基礎(chǔ)。該報(bào)告匯集了來自30個(gè)國(guó)家、歐盟和聯(lián)合國(guó)的專家的知識(shí)，提供了對(duì)人工智能安全性的全面分析。通過關(guān)注對(duì)通用人工智能能力和風(fēng)險(xiǎn)的早期科學(xué)理解，并評(píng)估評(píng)估和緩解這些風(fēng)險(xiǎn)的技術(shù)方法，該報(bào)告將引發(fā)多方利益相關(guān)者之間的持續(xù)對(duì)話和合作。我希望基于這份報(bào)告，來自30個(gè)國(guó)家、歐盟和聯(lián)合國(guó)的專家繼續(xù)進(jìn)行平衡的討論，實(shí)現(xiàn)可接受的、適合發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家具體情況的人工智能風(fēng)險(xiǎn)緩解，從而創(chuàng)造一個(gè)創(chuàng)新和負(fù)責(zé)任的人工智能和諧共存的未來。Leejong-ho，大韓民國(guó)MSIT部長(zhǎng)關(guān)于高級(jí)關(guān)于高級(jí)AI安全性的國(guó)際科學(xué)報(bào)告:中期報(bào)告9執(zhí)行摘要.這是第一份“關(guān)于高級(jí)ai安全性的國(guó)際科學(xué)報(bào)告”的臨時(shí)出版物。由75位人工智能(AI)專家組成的多元化小組為本報(bào)告做出了貢獻(xiàn)，其中包括由30個(gè)國(guó)家，歐盟(EU)和聯(lián)合國(guó)(UN)提名的國(guó)際專家咨詢小組。.在本報(bào)告主席的領(lǐng)導(dǎo)下，撰寫本報(bào)告的獨(dú)立專家集體對(duì)其內(nèi)容擁有完全的酌處權(quán)。.在人工智能發(fā)展取得前所未有的進(jìn)展之際，這份第一份出版物將其重點(diǎn)限制在近年來發(fā)展特別迅速的一種人工智能上:通用人工智能，即可以執(zhí)行各種任務(wù)的人工智能。在快速發(fā)展的過程中，通用人工智能的研究目前正處于科學(xué)發(fā)現(xiàn)的時(shí)代，尚未成為科學(xué)定論。.世界各地的人們只有在風(fēng)險(xiǎn)得到適當(dāng)管理的情況下，才能安全地享受通用人工智能的許多潛在好處。本報(bào)告著重于識(shí)別這些風(fēng)險(xiǎn)，并評(píng)估評(píng)估和減輕這些風(fēng)險(xiǎn)的技術(shù)方法。它的目的不是全面評(píng)估通用人工智能的所有可能的社會(huì)影響，包括其許多潛在的好處。.這份中期報(bào)告有史以來第一次匯集了30個(gè)國(guó)家、歐盟和聯(lián)合國(guó)提名的專家以及其他世界領(lǐng)先的專家，為通用人工智能安全的討論和決策提供了一個(gè)共享的科學(xué)、循證基礎(chǔ)。我們?nèi)匀辉趪@通用人工智能能力、風(fēng)險(xiǎn)和風(fēng)險(xiǎn)緩解的幾個(gè)問題上存在分歧，無(wú)論是次要的還是主要的。但我們認(rèn)為這個(gè)項(xiàng)目對(duì)于提高我們對(duì)這項(xiàng)技術(shù)及其潛在風(fēng)險(xiǎn)的集體理解，以及更接近達(dá)成共識(shí)和有效的風(fēng)險(xiǎn)緩解至關(guān)重要，以確保人們能夠安全地體驗(yàn)通用人工智能的潛在好處。賭注很高。我們期待著繼續(xù)這一努力。.如果管理得當(dāng)，通用人工智能可以用于促進(jìn)公共利益，可能會(huì)帶來更好的福祉，更多的繁榮和新的科學(xué)發(fā)現(xiàn)。然而，通用人工智能出現(xiàn)故障或被惡意使用也可能造成傷害，例如，在高風(fēng)險(xiǎn)環(huán)境中做出有偏見的決定，或者通過詐騙、虛假媒體或侵犯隱私。.隨著通用人工智能能力的不斷發(fā)展，可能會(huì)出現(xiàn)諸如大規(guī)模勞動(dòng)力市場(chǎng)影響，人工智能黑客攻擊或生物攻擊以及社會(huì)失去對(duì)通用人工智能的控制等風(fēng)險(xiǎn)，盡管研究人員對(duì)這些情況的可能性存在爭(zhēng)議。對(duì)這些風(fēng)險(xiǎn)的不同看法往往源于對(duì)社會(huì)將采取的限制措施、這些措施的有效性以及通用人工智能能力的推進(jìn)速度的不同期望。.通用人工智能能力的未來進(jìn)展速度存在相當(dāng)大的不確定性。一些專家認(rèn)為，到目前為止，進(jìn)展最有可能放緩，而另一些專家則認(rèn)為，極快的進(jìn)展是可能的或可能的。.開發(fā)人員可以采用各種技術(shù)方法來評(píng)估和降低通用人工智能的風(fēng)險(xiǎn)，監(jiān)管機(jī)構(gòu)也可以要求，但它們都有局限性。例如，用于解釋為什么通用AI模型產(chǎn)生任何給定輸出的當(dāng)前技術(shù)受到嚴(yán)重限制。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport.通用人工智能技術(shù)的未來是不確定的，即使在不久的將來，也可能出現(xiàn)各種各樣的軌跡，包括非常積極和非常消極的結(jié)果。但關(guān)于AI的未來，沒有什么是不可避免的。社會(huì)和政府的決定將決定人工智能的未來。這份臨時(shí)報(bào)告旨在促進(jìn)對(duì)這些決定的建設(shè)性討論。使用人工智能的系統(tǒng)的能力一直在迅速發(fā)展。這凸顯了人工智能為商業(yè)、研究、政府和私人生活創(chuàng)造的許多機(jī)會(huì)。它還提高了人們對(duì)與先進(jìn)人工智能相關(guān)的當(dāng)前危害和未來潛在風(fēng)險(xiǎn)的認(rèn)識(shí)。關(guān)于高級(jí)人工智能安全的國(guó)際科學(xué)報(bào)告的目的是朝著對(duì)人工智能風(fēng)險(xiǎn)以及如何減輕風(fēng)險(xiǎn)的國(guó)際共識(shí)邁出一步。該報(bào)告的第一份臨時(shí)出版物將其重點(diǎn)限制在一種能力發(fā)展特別迅速的人工智能上:通用人工智能，即可以執(zhí)行各種任務(wù)的人工智能。在快速發(fā)展的過程中，通用人工智能的研究目前正處于科學(xué)發(fā)現(xiàn)的時(shí)代，尚未成為科學(xué)定論。該報(bào)告概述了當(dāng)前對(duì)通用人工智能及其風(fēng)險(xiǎn)的科學(xué)理解。這包括確定科學(xué)共識(shí)的領(lǐng)域以及存在不同觀點(diǎn)或開放研究問題的領(lǐng)域。世界各地的人們只有在風(fēng)險(xiǎn)得到適當(dāng)管理的情況下，才能安全地享受通用人工智能的潛在好處。本報(bào)告的重點(diǎn)是識(shí)別通用人工智能的風(fēng)險(xiǎn)，并評(píng)估評(píng)估和緩解這些風(fēng)險(xiǎn)的技術(shù)方法，包括使用通用人工智能來緩解風(fēng)險(xiǎn)。它的目的不是全面評(píng)估通用人工智能的所有可能的社會(huì)影響，包括它可能提供的好處。根據(jù)許多指標(biāo)，通用AI能力近年來增長(zhǎng)迅根據(jù)許多指標(biāo)，通用AI能力正在迅速發(fā)展。五年前，領(lǐng)先的通用人工智能語(yǔ)言模型很少能產(chǎn)生連貫的文本段落。今天，一些通用的人工智能模型可以在廣泛的主題上進(jìn)行多輪對(duì)話，編寫簡(jiǎn)短的計(jì)算機(jī)程序，或者從描述中生成視頻。然而，通用人工智能的能力很難可靠地估計(jì)和精確定義。通用人工智能的發(fā)展速度取決于技術(shù)進(jìn)步的速度和監(jiān)管環(huán)境。本報(bào)告?zhèn)戎赜诩夹g(shù)方面，不討論監(jiān)管工作如何影響通用人工智能的開發(fā)和部署速度。近年來，人工智能開發(fā)人員迅速提高了通用人工智能功能，主要是通過不斷增加用于訓(xùn)練新模型(一種稱為“擴(kuò)展”的趨勢(shì))和改進(jìn)現(xiàn)有算法的資源。例如，最先進(jìn)的人工智能模型用于訓(xùn)練的計(jì)算資源(“計(jì)算”)每年增加約4倍，訓(xùn)練數(shù)據(jù)集大小增加2.5倍，算法效率(相對(duì)于計(jì)算的性能)增加1.5倍。“縮放”是否導(dǎo)致了諸如因果推理等基本挑戰(zhàn)的進(jìn)展，研究人員之間存在爭(zhēng)議。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport通用人工智能能力的未來進(jìn)展速度對(duì)管理新興風(fēng)險(xiǎn)具有重大影響，但專家們對(duì)即使在不久的將來也會(huì)發(fā)生什么持不同意見。專家們以各種方式支持通用人工智能能力緩慢、快速或極快發(fā)展的可能性。這種分歧涉及一個(gè)關(guān)鍵問題:繼續(xù)“擴(kuò)展”資源和改進(jìn)現(xiàn)有技術(shù)是否足以產(chǎn)生快速進(jìn)展并解決可靠性和事實(shí)準(zhǔn)確性等問題，還是需要新的研究突破來大幅提高通用AI能力？幾家開發(fā)通用人工智能的領(lǐng)先公司正在押注“擴(kuò)展”以繼續(xù)帶來性能改進(jìn)。如果最近的趨勢(shì)繼續(xù)下去，到2026年年底，一些通用人工智能模型將使用比2023年發(fā)布的最計(jì)算密集型模型多40倍至100倍的計(jì)算進(jìn)行訓(xùn)練，并結(jié)合使用這種計(jì)算效率提高3倍至20倍的訓(xùn)練方法。然而，進(jìn)一步增加數(shù)據(jù)和計(jì)算存在潛在的瓶頸，包括數(shù)據(jù)的可用性、人工智能芯片、資本支出和本地能源容量。開發(fā)通用人工智能的公司正在努力解決這些潛在的瓶頸。管理通用人工智能風(fēng)險(xiǎn)的方法通常基于這樣的假設(shè)，即人工智能開發(fā)人員和政策制定者可以評(píng)估通用人工智能模型和系統(tǒng)的能力和潛在影響。但是，雖然技術(shù)方法可以幫助評(píng)估，但所有現(xiàn)有方法都有局限性，無(wú)法提供強(qiáng)有力的保證，以防止與通用人工智能相關(guān)的大多數(shù)危害。總體而言，對(duì)通用人工智能的內(nèi)部運(yùn)作、能力和社會(huì)影響的科學(xué)理解非常有限，專家普遍認(rèn)為，提高我們對(duì)通用人工智能的理解應(yīng)該是當(dāng)務(wù)之急。一些關(guān)鍵挑戰(zhàn)包括:.開發(fā)人員仍然對(duì)他們的通用AI模型如何運(yùn)行知之甚少。這是因?yàn)橥ㄓ肁I模型不是傳統(tǒng)意義上的編程。相反，他們是經(jīng)過訓(xùn)練的:人工智能開發(fā)人員建立了一個(gè)涉及大量數(shù)據(jù)的訓(xùn)練過程，這個(gè)訓(xùn)練過程的結(jié)果就是通用人工智能模型。這些模型可以由數(shù)萬(wàn)億個(gè)稱為參數(shù)的組件組成，并且它們的大部分內(nèi)部工作都是難以理解的，包括對(duì)模型開發(fā)人員來說。模型解釋和可解釋性技術(shù)可以提高研究人員和開發(fā)人員對(duì)通用AI模型如何運(yùn)行的理解，但這項(xiàng)研究還處于起步階段。.通用AI主要通過在各種輸入上測(cè)試模型或系統(tǒng)來評(píng)估。這些抽查有助于評(píng)估優(yōu)勢(shì)和劣勢(shì)，包括漏洞和潛在的有害能力，但不提供定量的安全保證。測(cè)試通常會(huì)忽略危險(xiǎn)，高估或低估功能，因?yàn)橥ㄓ肁I系統(tǒng)在不同情況下，不同用戶或?qū)ζ浣M件進(jìn)行其他調(diào)整時(shí)可能會(huì)表現(xiàn)不同。.原則上，獨(dú)立參與者可以審核公司開發(fā)的通用AI模型或系統(tǒng)。但是，公司通常不向獨(dú)立審計(jì)師提供必要的直接訪問模型或有關(guān)嚴(yán)格評(píng)估所需的數(shù)據(jù)和方法的信息。一些政府正在開始建設(shè)進(jìn)行技術(shù)評(píng)估和審計(jì)的能力。.很難評(píng)估通用人工智能系統(tǒng)的下游社會(huì)影響，因?yàn)閷?duì)風(fēng)險(xiǎn)評(píng)估的研究還不足以產(chǎn)生嚴(yán)格和全面的評(píng)估方法。此外，通用人工智能具有廣泛的用例，這些用例通常不是預(yù)定義的，只是受到輕微的限制，使風(fēng)險(xiǎn)評(píng)估進(jìn)一步復(fù)雜化。了解通用人工智能模型和系統(tǒng)的潛在下游社會(huì)影響需要細(xì)致入微的多學(xué)科分析。增加多樣化的代表性InternationalScientificReportontheSafetyofAdvancedAI:InterimReport通用人工智能開發(fā)和評(píng)估過程中的觀點(diǎn)是一項(xiàng)持續(xù)的技術(shù)和制度挑戰(zhàn)。該報(bào)告將通用AI風(fēng)險(xiǎn)分為三類:惡意使用風(fēng)險(xiǎn)，故障風(fēng)險(xiǎn)和系統(tǒng)性風(fēng)險(xiǎn)。它還討論了導(dǎo)致許多風(fēng)險(xiǎn)的幾個(gè)交叉因素。惡意使用。與所有強(qiáng)大的技術(shù)一樣，通用AI系統(tǒng)也可能被惡意使用以造成傷害?？赡艿膼阂馐褂妙愋桶ㄏ鄬?duì)證據(jù)充分的類型，例如通用AI實(shí)現(xiàn)的詐騙，以及一些專家認(rèn)為未來幾年可能發(fā)生的類型，例如惡意使用通用AI的科學(xué)功能。.通過通用AI生成的虛假內(nèi)容對(duì)個(gè)人造成的傷害是一種相對(duì)有據(jù)可查的通用AI惡意使用。通用AI可用于增加詐騙和欺詐的規(guī)模和復(fù)雜性，例如通過通用AI增強(qiáng)的“網(wǎng)絡(luò)釣魚”攻擊。通用人工智能也可以用來生成虛假的妥協(xié)內(nèi)容，包括未經(jīng)個(gè)人同意的個(gè)人，例如未經(jīng)同意的deepfake色情內(nèi)容。.另一個(gè)令人擔(dān)憂的領(lǐng)域是惡意使用通用人工智能來提供信息和操縱公眾輿論。通用人工智能和其他現(xiàn)代技術(shù)使生成和傳播錯(cuò)誤信息變得更加容易，包括影響政治進(jìn)程。像水印內(nèi)容這樣的技術(shù)對(duì)策雖然有用，但通?？梢员贿m度復(fù)雜的參與者規(guī)避。.通用人工智能也可能被惡意用于網(wǎng)絡(luò)犯罪，提升個(gè)人的網(wǎng)絡(luò)專業(yè)知識(shí)，并使惡意用戶更容易進(jìn)行有效的網(wǎng)絡(luò)攻擊。通用AI系統(tǒng)可用于擴(kuò)展和部分自動(dòng)化某些類型的網(wǎng)絡(luò)操作，例如社交工程攻擊。但是，通用AI也可以用于網(wǎng)絡(luò)防御?？傮w而言，尚無(wú)任何實(shí)質(zhì)性證據(jù)表明通用AI可以自動(dòng)執(zhí)行復(fù)雜的網(wǎng)絡(luò)安全任務(wù)。.一些專家還對(duì)通用人工智能可能被用來支持生物武器等武器的開發(fā)和惡意使用表示擔(dān)憂。沒有強(qiáng)有力的證據(jù)表明目前的通用人工智能系統(tǒng)會(huì)帶來這種風(fēng)險(xiǎn)。例如，盡管目前的通用人工智能系統(tǒng)顯示出與生物學(xué)相關(guān)的不斷增長(zhǎng)的能力，但有限的研究并沒有提供明確的證據(jù)表明，目前的系統(tǒng)可以比使用互聯(lián)網(wǎng)更容易地“提升”惡意行為者來獲取生物病原體。然而，未來的大規(guī)模威脅幾乎沒有得到評(píng)估，也很難排除。故障風(fēng)險(xiǎn)。即使用戶無(wú)意造成傷害，由于通用AI的故障，也可能會(huì)產(chǎn)生嚴(yán)重的風(fēng)險(xiǎn)。這種故障可能有幾種可能的原因和后果:.基于通用人工智能模型和系統(tǒng)的產(chǎn)品的功能可能會(huì)被用戶理解得很少，例如由于誤解或誤導(dǎo)性廣告。如果用戶隨后以不合適的方式或出于不合適的目的部署系統(tǒng)，這可能會(huì)造成損害。.人工智能系統(tǒng)中的偏見通常是一個(gè)很明顯的問題，對(duì)于通用人工智能來說也沒有解決。通用人工智能輸出可能會(huì)在種族、性別、文化、年齡和殘疾等受保護(hù)特征方面存在偏見。這可能會(huì)產(chǎn)生風(fēng)險(xiǎn)，包括在高風(fēng)險(xiǎn)領(lǐng)域，如醫(yī)療保健，工作招聘和金融貸款。此外，許多廣泛使用的通用人工智能模型主要是在不成比例地代表西方文化的數(shù)據(jù)上訓(xùn)練的，這可能會(huì)增加對(duì)這些數(shù)據(jù)不能很好地代表的個(gè)人造成傷害的可能性。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport.“失控”情景是潛在的未來情景，在這種情景中，社會(huì)不再能夠有意義地限制通用人工智能系統(tǒng)，即使它們顯然正在造成傷害。人們普遍認(rèn)為，目前的通用人工智能缺乏構(gòu)成這種風(fēng)險(xiǎn)的能力。一些專家認(rèn)為，目前開發(fā)通用自主人工智能(可以行動(dòng)、計(jì)劃和追求目標(biāo)的系統(tǒng))的努力，如果成功，可能會(huì)導(dǎo)致失控。專家們對(duì)失控情況的合理性，何時(shí)可能發(fā)生以及減輕這種情況的難度持不同意見。系統(tǒng)性風(fēng)險(xiǎn)。通用人工智能技術(shù)的廣泛發(fā)展和采用帶來了一些系統(tǒng)性風(fēng)險(xiǎn)，從潛在的勞動(dòng)力市場(chǎng)影響到隱私風(fēng)險(xiǎn)和環(huán)境影響:.通用人工智能，特別是如果它進(jìn)一步迅速發(fā)展，有可能自動(dòng)化非常廣泛的任務(wù)，這可能會(huì)對(duì)勞動(dòng)力市場(chǎng)產(chǎn)生重大影響。這可能意味著許多人可能會(huì)失去目前的工作。然而，許多經(jīng)濟(jì)學(xué)家預(yù)計(jì)，潛在的失業(yè)可能會(huì)被創(chuàng)造新的就業(yè)機(jī)會(huì)和非自動(dòng)化部門需求的增加所抵消，甚至可能完全抵消。.通用人工智能的研發(fā)目前主要集中在少數(shù)西方國(guó)家和中國(guó)。這種“AI劃分”是多原因的，但部分原因是開發(fā)通用AI所需的計(jì)算訪問級(jí)別不同。由于低收入國(guó)家和學(xué)術(shù)機(jī)構(gòu)獲得計(jì)算機(jī)的機(jī)會(huì)比高收入國(guó)家和技術(shù)公司少，因此它們處于不利地位。.通用人工智能發(fā)展的市場(chǎng)集中度使社會(huì)更容易受到幾種系統(tǒng)性風(fēng)險(xiǎn)的影響。例如，少量的廣泛使用金融或醫(yī)療保健等關(guān)鍵部門的通用人工智能系統(tǒng)可能會(huì)在這些相互依賴的部門中同時(shí)造成廣泛的故障和中斷，例如由于錯(cuò)誤或漏洞。.在通用AI開發(fā)和部署中不斷增長(zhǎng)的計(jì)算使用量迅速增加了與通用AI相關(guān)的能源使用量。這種趨勢(shì)沒有顯示出放緩的跡象，2可能導(dǎo)致進(jìn)一步增加的CO排放和水消耗。.通用AI模型或系統(tǒng)可能會(huì)對(duì)隱私構(gòu)成風(fēng)險(xiǎn)。例如，研究表明，通過使用對(duì)抗性輸入，用戶可以從模型中提取包含有關(guān)個(gè)人信息的訓(xùn)練數(shù)據(jù)。對(duì)于未來針對(duì)敏感個(gè)人數(shù)據(jù)(如健康或財(cái)務(wù)數(shù)據(jù))進(jìn)行訓(xùn)練的模型，這可能會(huì)導(dǎo)致特別嚴(yán)重的隱私泄露。.通用人工智能開發(fā)中潛在的版權(quán)侵權(quán)對(duì)傳統(tǒng)的知識(shí)產(chǎn)權(quán)法以及同意、補(bǔ)償和數(shù)據(jù)控制系統(tǒng)構(gòu)成了挑戰(zhàn)。不明確的版權(quán)制度阻礙了通用AI開發(fā)人員宣布他們使用的數(shù)據(jù)，并且不清楚在未經(jīng)許可的情況下使用其作品來訓(xùn)練通用AI模型的創(chuàng)作者會(huì)受到哪些保護(hù)。交叉風(fēng)險(xiǎn)因素支撐通用人工智能相關(guān)風(fēng)險(xiǎn)的是幾個(gè)交叉風(fēng)險(xiǎn)因素--通用人工智能的特征增加了不是一個(gè)而是幾個(gè)風(fēng)險(xiǎn)的概率或嚴(yán)重性:.跨領(lǐng)域的技術(shù)風(fēng)險(xiǎn)因素包括難以確保通用AI系統(tǒng)可靠地按預(yù)期運(yùn)行，我們對(duì)其內(nèi)部工作原理缺乏了解，以及正在開發(fā)的通用AI“代理”可以在減少監(jiān)督的情況下自主行動(dòng)。.社會(huì)交叉風(fēng)險(xiǎn)因素包括技術(shù)進(jìn)步的速度和監(jiān)管反應(yīng)的速度之間的潛在差距，以及人工智能開發(fā)人員快速發(fā)布產(chǎn)品的競(jìng)爭(zhēng)激勵(lì)，這可能是以徹底的風(fēng)險(xiǎn)管理為代價(jià)的。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport有幾種技術(shù)方法可以幫助降低風(fēng)險(xiǎn)，但目前沒雖然本報(bào)告沒有討論減輕通用人工智能風(fēng)險(xiǎn)的政策干預(yù)措施，但它確實(shí)討論了研究人員正在取得進(jìn)展的技術(shù)風(fēng)險(xiǎn)緩解方法。盡管取得了這一進(jìn)展，但目前的方法并沒有可靠地防止在現(xiàn)實(shí)世界環(huán)境中甚至公開有害的通用AI輸出。使用了幾種技術(shù)方法來評(píng)估和減輕風(fēng)險(xiǎn):.在訓(xùn)練通用AI模型以更安全地運(yùn)行方面取得了一些進(jìn)展。開發(fā)人員還訓(xùn)練模型，使其對(duì)旨在使其失敗的輸入更加健壯(“對(duì)抗性訓(xùn)練”)。盡管如此，對(duì)手通?？梢哉业教娲度?，以低至中等的努力降低保障措施的有效性。將通用人工智能系統(tǒng)的功能限制在特定的用例中，有助于降低不可預(yù)見的故障或惡意使用帶來的風(fēng)險(xiǎn)。.有幾種技術(shù)可用于識(shí)別風(fēng)險(xiǎn)，檢查系統(tǒng)操作以及在部署通用AI系統(tǒng)后評(píng)估性能。這些做法通常被稱為“監(jiān)控”。.減輕通用AI系統(tǒng)中的偏見可以在系統(tǒng)的整個(gè)生命周期中解決，包括設(shè)計(jì)，培訓(xùn)，部署和使用。然而，完全防止通用人工智能系統(tǒng)中的偏見是具有挑戰(zhàn)性的，因?yàn)樗枰到y(tǒng)的訓(xùn)練數(shù)據(jù)收集、持續(xù)的評(píng)估和有效的偏見識(shí)別。它還可能需要權(quán)衡公平性與其他目標(biāo)，如準(zhǔn)確性和隱私，并決定什么是有用的知識(shí)，什么是不應(yīng)該反映在輸出中的不良偏見。.隱私保護(hù)是研究和開發(fā)的活躍領(lǐng)域。簡(jiǎn)單地在培訓(xùn)中盡量減少敏感個(gè)人數(shù)據(jù)的使用是一種可以大大降低隱私風(fēng)險(xiǎn)的方法。然而，當(dāng)有意或無(wú)意地使用敏感數(shù)據(jù)時(shí)，用于降低隱私風(fēng)險(xiǎn)的現(xiàn)有技術(shù)工具難以擴(kuò)展到大型通用AI模型，并且可能無(wú)法為用戶提供有意義的控制。結(jié)論:廣泛的通用人工智能軌跡是可能的，這在很大程度上取決于社會(huì)通用人工智能的未來是不確定的，即使在不久的將來，也可能出現(xiàn)各種各樣的軌跡，包括非常積極和非常消極的結(jié)果。但通用人工智能的未來并不是不可避免的。通用人工智能是如何開發(fā)的，由誰(shuí)開發(fā)，它旨在解決哪些問題，社會(huì)是否能夠獲得通用人工智能的全部經(jīng)濟(jì)潛力，誰(shuí)從中受益，我們面臨的風(fēng)險(xiǎn)類型，我們投入多少研究以降低風(fēng)險(xiǎn)-這些和許多其他問題取決于社會(huì)和政府今天和未來做出的選擇，以塑造通用人工智能的發(fā)展。為了幫助促進(jìn)關(guān)于這些決策的建設(shè)性討論，本報(bào)告概述了科學(xué)研究的現(xiàn)狀以及關(guān)于管理通用人工智能風(fēng)險(xiǎn)的討論。賭注很高。我們期待著繼續(xù)這一努力。關(guān)于高級(jí)關(guān)于高級(jí)AI安全性的國(guó)際科學(xué)報(bào)告:中期報(bào)告我們正處于一場(chǎng)技術(shù)革命之中，這場(chǎng)革命將從根本上改變我們的生活、工作和相互聯(lián)系的方式。人工智能(AI)有望改變我們社會(huì)和經(jīng)濟(jì)的許多方面?？茖W(xué)界普遍認(rèn)為，人工智能系統(tǒng)的能力在過去五年中在許多任務(wù)上取得了快速進(jìn)展。大型語(yǔ)言模型(llm)是一個(gè)特別突出的例子。在2019中，GPT-2，當(dāng)時(shí)最先進(jìn)的LLM，無(wú)法可靠地產(chǎn)生連貫的文本段落不能總是數(shù)到十。在撰寫本文時(shí)，像克勞德3，GPT-4和雙子座Ultra這樣最強(qiáng)大的llm可以始終如一地進(jìn)行多輪對(duì)話，編寫簡(jiǎn)短的計(jì)算機(jī)程序，在多種語(yǔ)言之間進(jìn)行翻譯，在大學(xué)入學(xué)考試中獲得高分，并總結(jié)長(zhǎng)文檔。這種能力的逐步變化以及持續(xù)進(jìn)步的潛力，可以在許多方面幫助提高公眾利益。其中最有希望的前景是人工智能在教育、醫(yī)療應(yīng)用、廣泛領(lǐng)域的研究進(jìn)展以及導(dǎo)致繁榮的創(chuàng)新增加方面的潛力。這一快速進(jìn)展也提高了人們對(duì)與最有能力的人工智能類型相關(guān)的當(dāng)前危害和未來潛在風(fēng)險(xiǎn)的認(rèn)識(shí)。為了開始就先進(jìn)人工智能的風(fēng)險(xiǎn)達(dá)成國(guó)際共識(shí)，政府代表和學(xué)術(shù)界、商界和民間社會(huì)的領(lǐng)導(dǎo)人于2023年11月在英國(guó)布萊奇利公園召開了首屆國(guó)際人工智能安全峰會(huì)。在峰會(huì)上，出席會(huì)議的國(guó)家以及歐盟和聯(lián)合國(guó)同意支持制定關(guān)于先進(jìn)人工智能安全的國(guó)際科學(xué)報(bào)告。本報(bào)告旨在促進(jìn)對(duì)先進(jìn)人工智能安全的國(guó)際共享科學(xué)理解。這是該報(bào)告的第一份臨時(shí)出版物:第一份報(bào)告的最終版本將在法國(guó)AI峰會(huì)之前發(fā)布。一個(gè)由75位人工智能專家組成的國(guó)際小組，他們的觀點(diǎn)廣泛，相關(guān)的背景也多種多樣，為這份中期報(bào)告做出了貢獻(xiàn)。報(bào)告所考慮的證據(jù)包括相關(guān)的科學(xué)，技術(shù)和社會(huì)經(jīng)濟(jì)證據(jù)。由于人工智能領(lǐng)域正在飛速發(fā)展，因此并非本報(bào)告使用的所有來源都經(jīng)過同行評(píng)審。但是，該報(bào)告致力于僅引用高質(zhì)量的來源。高質(zhì)量源的標(biāo)準(zhǔn)包括:.該作品構(gòu)成了推動(dòng)該領(lǐng)域發(fā)展的原始貢獻(xiàn)。.該作品全面地與現(xiàn)有的科學(xué)文獻(xiàn)相結(jié)合，在適當(dāng)?shù)那闆r下引用其他人的工作，并對(duì)其進(jìn)行準(zhǔn)確的解釋。.該作品真誠(chéng)地討論了對(duì)其主張的可能異議。.這篇文章清楚地描述了其分析所采用的方法。它批判性地討論了方法的選擇。.這篇文章清楚地強(qiáng)調(diào)了它在方法上的局限性。.這篇文章在科學(xué)界很有影響力。由于對(duì)先進(jìn)人工智能風(fēng)險(xiǎn)的科學(xué)共識(shí)仍在形成中，因此在許多情況下，該報(bào)告并未提出自信的觀點(diǎn)。相反，它提供了科學(xué)理解和共識(shí)的當(dāng)前狀態(tài)的快照，或者缺乏科學(xué)理解和共識(shí)。在文獻(xiàn)中存在空白的地方，報(bào)告指出了這些空白，希望這將促進(jìn)進(jìn)一步的研究。此外，本報(bào)告沒有評(píng)論哪些政策選擇是對(duì)其討論的風(fēng)險(xiǎn)的適當(dāng)回應(yīng)。最終，政策制定者必須選擇如何平衡先進(jìn)人工智能帶來的機(jī)遇和風(fēng)險(xiǎn)。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport政策制定者還必須判斷適當(dāng)?shù)膶徤骱椭?jǐn)慎程度，以應(yīng)對(duì)仍然模棱兩可的風(fēng)險(xiǎn)。人工智能(AI)是指使用廣泛適用的方法開發(fā)的先進(jìn)的基于機(jī)器的系統(tǒng)，以實(shí)現(xiàn)給定的目標(biāo)或回答給定的問題。人工智能是一個(gè)廣泛且快速發(fā)展的研究領(lǐng)域，有許多不同種類的人工智能。本中期報(bào)告并未涉及所有類型的高級(jí)AI的所有潛在風(fēng)險(xiǎn)。該報(bào)告的第一次迭代側(cè)重于通用AI，即可以執(zhí)行各種任務(wù)的AI。通用人工智能系統(tǒng)，現(xiàn)在通過ChatGPT等應(yīng)用程序?yàn)樵S多人所知，在過去的18個(gè)月里，公眾和政策制定者對(duì)人工智能產(chǎn)生了前所未有的興趣。它的能力一直在迅速提高。通用AI不同于所謂的“窄AI”，這是一種專門執(zhí)行一項(xiàng)特定任務(wù)或一些非常相似的任務(wù)的AI。為了更好地理解我們?nèi)绾卧诒緢?bào)告中定義通用AI，區(qū)分“AI模型”和“AI系統(tǒng)”很有用。人工智能模型可以被認(rèn)為是原始的數(shù)學(xué)本質(zhì)，通常是人工智能應(yīng)用的“引擎”。AI系統(tǒng)是多個(gè)組件的集合，包括一個(gè)或多個(gè)AI模型，旨在以某種方式對(duì)人類特別有用。例如，ChatGPT應(yīng)用程序是一個(gè)AI系統(tǒng)。它的核心引擎GPT-4是一個(gè)人工智能模型。本報(bào)告涵蓋了AI模型和AI系統(tǒng)的風(fēng)險(xiǎn)，如果它們是“通用”AI模型或系統(tǒng)。我們認(rèn)為AI模型是通用的，如果它可以執(zhí)行或可以適應(yīng)執(zhí)行各種各樣的任務(wù)。我們認(rèn)為AI系統(tǒng)是通用的，如果它是基于通用模型，但如果它是基于從通用模型派生的專用模型。在通用AI領(lǐng)域，本報(bào)告重點(diǎn)關(guān)注通用AI，它至少與當(dāng)今最先進(jìn)的通用AI(如GPT-4Turbo、Claude3和GeminiUltra)一樣強(qiáng)大。在我們的定義中，模型或系統(tǒng)不需要具有多種模態(tài)，如語(yǔ)音，文本和圖像，就可以被認(rèn)為是通用的。相反，可以在特定領(lǐng)域內(nèi)執(zhí)行各種任務(wù)的人工智能，如結(jié)構(gòu)生物學(xué)，在我們的定義中也被視為通用。重要的是，不要將通用AI與“人工通用智能”(AGI)混淆，AGI有時(shí)用于指代潛在的未來AI系統(tǒng)，該系統(tǒng)在所有或幾乎所有認(rèn)知任務(wù)上的表現(xiàn)均等于或超過人類。通用AI是一個(gè)較弱的概念。本報(bào)告沒有解決“狹窄ai”帶來的風(fēng)險(xiǎn)，“狹窄ai”經(jīng)過培訓(xùn)可以執(zhí)行非常有限的任務(wù)，并且捕獲了相應(yīng)的非常有限的知識(shí)體系。編寫這份中期報(bào)告的時(shí)間有限，導(dǎo)致人們把重點(diǎn)放在先進(jìn)的通用人工智能上，因?yàn)檫@方面的進(jìn)展最為迅速，相關(guān)風(fēng)險(xiǎn)的研究和理解也較少。然而，從風(fēng)險(xiǎn)和安全的角度來看，狹義人工智能也可能具有高度相關(guān)性，報(bào)告中使用了與這些系統(tǒng)風(fēng)險(xiǎn)相關(guān)的證據(jù)。狹義的人工智能模型和系統(tǒng)被廣泛用于醫(yī)藥、廣告或銀行等領(lǐng)域的產(chǎn)品和服務(wù)，并且可能在其中許多領(lǐng)域帶來重大風(fēng)險(xiǎn)。這些風(fēng)險(xiǎn)可能導(dǎo)致諸如有偏見的招聘決定，車禍或有害的醫(yī)療建議等危害。窄AI也被用于各種軍事應(yīng)用。一個(gè)應(yīng)用，雖然是人工智能在軍隊(duì)中的應(yīng)用的一個(gè)非常小的子集，(1)涉及，例如，致命的自主武器系統(tǒng)(law)。這些主題在其他論壇中都有涉及，不在本中期報(bào)告的范圍之內(nèi)。一個(gè)龐大而多樣的領(lǐng)先國(guó)際專家小組為本報(bào)告做出了貢獻(xiàn)，其中包括來自所有聯(lián)合國(guó)區(qū)域集團(tuán)以及歐盟和聯(lián)合國(guó)的30個(gè)國(guó)家提名的代表。雖然我們的個(gè)人觀點(diǎn)有時(shí)會(huì)有所不同，但我們堅(jiān)信，關(guān)于人工智能的建設(shè)性科學(xué)和公共討論對(duì)于世界各地的人們安全地獲得這項(xiàng)技術(shù)的好處是必要的。我們希望這份臨時(shí)報(bào)告能夠有助于這一論述，并成為InternationalScientificReportontheSafetyofAdvancedAI:InterimReport未來的報(bào)告將逐步改善我們對(duì)高級(jí)人工智能的能力和風(fēng)險(xiǎn)的共同理解。該報(bào)告分為六個(gè)主要部分。在此介紹之后，2。Capabilities提供有關(guān)通用AI當(dāng)前功能、基本原理和潛在未來趨勢(shì)的信息。3.評(píng)估和理解通用AI系統(tǒng)的方法解釋了研究人員如何嘗試了解通用AI可以做什么以及它可能帶來的風(fēng)險(xiǎn)。4.風(fēng)險(xiǎn)部討論特定風(fēng)險(xiǎn)和交叉風(fēng)險(xiǎn)因素。5.減輕風(fēng)險(xiǎn)的技術(shù)方法介紹了減輕通用人工智能風(fēng)險(xiǎn)的技術(shù)，并評(píng)估了它們的優(yōu)勢(shì)和局限性。6.結(jié)論:總結(jié)和總結(jié)。關(guān)于高級(jí)關(guān)于高級(jí)AI安全性的國(guó)際科學(xué)報(bào)告:中期報(bào)告2.1通用AI如何獲得其能力？.通用AI模型和系統(tǒng)可以生成文本，圖像，視頻，未標(biāo)記數(shù)據(jù)的標(biāo)簽，并啟動(dòng)操作。.通用人工智能模型和系統(tǒng)的生命周期通常涉及計(jì)算密集型的“預(yù)培訓(xùn)”、勞動(dòng)密集型的“微調(diào)”以及持續(xù)的部署后監(jiān)控和更新。有各種類型的通用AI。通用AI模型的示例包括:.聊天機(jī)器人風(fēng)格的語(yǔ)言模型，如GPT-4(2*)，Gemini-1.5(3*)，Claude-3(4*)，Qwen1.5(5*)，Llama-3(6*)，和米斯特拉爾大(7*)。.諸如DALLE-3(9*)、Midjourney-5(10*)和穩(wěn)定擴(kuò)散-3(11*)的圖像生成器(8)。.視頻發(fā)生器，如SORA12*。.機(jī)器人和導(dǎo)航系統(tǒng)，如PaLM-E(13)。.分子生物學(xué)中各種結(jié)構(gòu)的預(yù)測(cè)因子，如AlphaFold3(14)。通用AI模型依賴于深度學(xué)習(xí)(15)或人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，這是由多層互連節(jié)點(diǎn)組成的AI模型，松散地受到生物神經(jīng)網(wǎng)絡(luò)大腦結(jié)構(gòu)的啟發(fā)。大多數(shù)最先進(jìn)的通用人工智能模型都基于“變壓器”神經(jīng)網(wǎng)絡(luò)架構(gòu)(16)，該架構(gòu)已被證明在將越來越多的訓(xùn)練數(shù)據(jù)和計(jì)算能力轉(zhuǎn)換為更好的模型性能方面特別有效。從廣義上講，通用AI模型的開發(fā)和部署遵循相同的一系列不同階段:預(yù)訓(xùn)練，微調(diào)，系統(tǒng)集成，部署和部署后更新。每個(gè)都需要不同的方法和資源。預(yù)訓(xùn)練和微調(diào)都是“訓(xùn)練”通用AI模型的方法。在訓(xùn)練過程中，通用AI模型會(huì)獲得一些數(shù)據(jù)，并對(duì)其進(jìn)行處理以預(yù)測(cè)其他數(shù)據(jù)。例如，該模型可以被給定維基百科文章的前500個(gè)單詞，然后預(yù)測(cè)第501個(gè)單詞。最初，它是隨機(jī)預(yù)測(cè)的，但隨著它看到更多的數(shù)據(jù)，它會(huì)自動(dòng)適應(yīng)從錯(cuò)誤中學(xué)習(xí)，它的預(yù)測(cè)也會(huì)提高。每個(gè)預(yù)測(cè)都需要一定量的計(jì)算資源(“計(jì)算機(jī)”)，因此訓(xùn)練需要數(shù)據(jù)和計(jì)算。由開發(fā)人員設(shè)計(jì)的模型架構(gòu)決定了模型進(jìn)行預(yù)測(cè)時(shí)發(fā)生的廣泛類型的計(jì)算，并且在訓(xùn)練期間調(diào)整了這些計(jì)算中使用的確切數(shù)字。預(yù)培訓(xùn):預(yù)培訓(xùn)的目標(biāo)是將一般背景知識(shí)構(gòu)建成通用的AI模型。在預(yù)訓(xùn)練期間，通用AI模型通常從大量數(shù)據(jù)(通常來自互聯(lián)網(wǎng))的模式中學(xué)習(xí)。收集和準(zhǔn)備訓(xùn)練前數(shù)據(jù)是大規(guī)模的操作，在大多數(shù)情況下，訓(xùn)練前是計(jì)算最密集的發(fā)展階段。如今，通用AI模型的預(yù)訓(xùn)練需要數(shù)周或數(shù)月，并使用數(shù)千個(gè)圖形處理單元(gpu)-專門的計(jì)算機(jī)芯片，旨在快速處理復(fù)雜的并行計(jì)算。例如，F(xiàn)alcon-180B模型使用4,096個(gè)gpuInternationalScientificReportontheSafetyofAdvancedAI:InterimReport多個(gè)月，PaLM(540B)使用6,144芯片50天(13)。如今，與2010中的最先進(jìn)模型訓(xùn)練(17)相比，此過程使用的計(jì)算量大約是其100億倍。一些開發(fā)人員使用自己的計(jì)算進(jìn)行預(yù)培訓(xùn)，而其他開發(fā)人員則使用專業(yè)云計(jì)算提供商提供的資源。微調(diào):經(jīng)過預(yù)訓(xùn)練后，大多數(shù)通用AI模型都會(huì)經(jīng)歷一個(gè)或多個(gè)額外的微調(diào)階段，以完善其完成int結(jié)束任務(wù)的能力。微調(diào)可以包括各種技術(shù)，包括從期望示例(18)、成對(duì)的期望和不期望示例(19)或獎(jiǎng)勵(lì)和懲罰(20、21*)中學(xué)習(xí)。微調(diào)通常需要大量的人工參與，并且往往是培訓(xùn)中最勞動(dòng)密集型的部分，微調(diào)現(xiàn)代模型需要數(shù)百萬(wàn)個(gè)人工反饋實(shí)例(22*)。通常，這種反饋是由成千上萬(wàn)的簽約知識(shí)工作者提供的。系統(tǒng)集成:模型經(jīng)過訓(xùn)練后，可以通過將其與旨在增強(qiáng)功能和安全性的其他系統(tǒng)組件集成來構(gòu)建通用AI系統(tǒng)。在實(shí)踐中，通用AI模型通常與用戶界面、輸入預(yù)處理器、輸出后處理器和內(nèi)容過濾器集成。部署:經(jīng)過訓(xùn)練后，可以部署模型以供使用。部署可以是“內(nèi)部的”，其中系統(tǒng)僅由開發(fā)人員使用，也可以是“外部的”，允許公共或其他非開發(fā)人員實(shí)體使用它。外部部署可以是“封閉源”或“開放源”。閉源意味著公眾只能通過有限的界面使用該系統(tǒng)。開源意味著整個(gè)系統(tǒng)，包括所有的模型參數(shù)，都是可用的。一些最先進(jìn)的通用人工智能系統(tǒng)，如GPT-4(2*)，是閉源的，而其他像Llama-3(6*)是開源的。從減輕風(fēng)險(xiǎn)的角度來看，開源模型有其優(yōu)缺點(diǎn)，這是科學(xué)界正在進(jìn)行的討論的主題。這份中期報(bào)告沒有詳細(xì)討論開源模型的優(yōu)缺點(diǎn)。部署后監(jiān)控和更新:部署后許多通用AI系統(tǒng)會(huì)不斷更新。這使開發(fā)人員可以更新功能并嘗試在發(fā)現(xiàn)缺陷和漏洞時(shí)解決它們。這些變化通常相當(dāng)于一種“貓和老鼠”的游戲，開發(fā)人員不斷更新高調(diào)的系統(tǒng)，以應(yīng)對(duì)新發(fā)現(xiàn)的漏洞(22*)。.通用人工智能能力很難可靠地估計(jì)，但大多數(shù)專家認(rèn)為，目前的通用人工智能能力包括:o協(xié)助程序員和編寫簡(jiǎn)短的計(jì)算機(jī)程序o在幾個(gè)回合內(nèi)進(jìn)行流利的交談o解決教科書上的數(shù)學(xué)和科學(xué)問題.大多數(shù)專家認(rèn)為，通用人工智能目前無(wú)法完成以下任務(wù):o執(zhí)行有用的機(jī)器人任務(wù)，如家庭任務(wù)o可靠地避免虛假陳述o開發(fā)全新的復(fù)雜想法.評(píng)估通用人工智能系統(tǒng)能力的一個(gè)關(guān)鍵挑戰(zhàn)是性能是高度特定于上下文的。有時(shí)僅在部署模型之后才會(huì)發(fā)現(xiàn)引發(fā)改進(jìn)模型功能的方法，因此可能會(huì)低估初始功能。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport可替代地，通用AI模型和系統(tǒng)能力可能被高估，因?yàn)樵诓煌纳舷挛闹腥狈︳敯粜圆⑶沂褂貌煌姆椒▉硪瞿芰?。本?jié)重點(diǎn)介紹按模態(tài)(如視頻和語(yǔ)言)和技能(如推理和知識(shí))分類的通用AI模型和系統(tǒng)的功能。功能也可以根據(jù)特定基準(zhǔn)的性能進(jìn)行分類(請(qǐng)參見3。評(píng)估和了解通用AI系統(tǒng))。雖然本節(jié)涵蓋了一般功能，但4.4.1.交叉-削減技術(shù)風(fēng)險(xiǎn)因素的重點(diǎn)是“高風(fēng)險(xiǎn)”能力。難以定義能力-通用人工智能系統(tǒng)通常是根據(jù)其能力來描述的，但在人工智能領(lǐng)域，“能力”一詞并沒有被廣泛接受的定義。定義能力的部分困難在于它不能被直接觀察到--人工智能研究人員只能觀察人工智能系統(tǒng)的行為:系統(tǒng)實(shí)際產(chǎn)生的一組輸出或動(dòng)作以及它這樣做的背景(例如，導(dǎo)致觀察到的行為的提示)(23)。人工智能研究人員只能總結(jié)在許多情況下觀察到的系統(tǒng)行為，從而得出系統(tǒng)的能力-能力的印象。即使在模型建立之后，也很難定義和衡量新的通用AI模型的全部功能;研究人員和用戶通常會(huì)在模型部署后發(fā)現(xiàn)新的方法來獲取功能，例如，通過提示模型“逐步思考”(2524，)。定義通用人工智能系統(tǒng)功能的另一個(gè)復(fù)雜之處在于，它們是由其環(huán)境中的能力--它可以訪問的工具和資源--塑造的。例如，當(dāng)一個(gè)通用人工智能系統(tǒng)連接到互聯(lián)網(wǎng)并配備網(wǎng)絡(luò)瀏覽器時(shí)，它會(huì)獲得新的affor信息檢索和與現(xiàn)實(shí)世界互動(dòng)，有效地?cái)U(kuò)展其功能(26)。通用AI模型可以根據(jù)它們處理的模式(例如文本，圖像，視頻)作為輸入并生成輸出進(jìn)行分類。通用人工智能模型存在10+模態(tài)(27)，如時(shí)間序列(28*)和音樂(29*)，但文本處理模型是目前對(duì)通用人工智能模型的大部分關(guān)注的來源。先進(jìn)的通用人工智能模型越來越能夠處理和生成文本、圖像、視頻、音頻、機(jī)器人動(dòng)作以及蛋白質(zhì)和大分子:.高級(jí)文本語(yǔ)言模型可以生成流暢的文本，并可用于跨各種自然語(yǔ)言、主題和格式的多輪對(duì)話。文本和自然語(yǔ)言界面對(duì)于人們與通用AI模型進(jìn)行交互非常有用。一些通用AI模型可以使用文本作為輸入和輸出，例如OpenAI的GPT-3(30);而其他人則將文本作為輸入，例如穩(wěn)定性AI的穩(wěn)定擴(kuò)散3(11*)，并且可以處理越來越長(zhǎng)的文本序列-例如，google的Gemini-Pro-1.5可以處理30,000行代碼(31*)。文本可以包括編碼為文本的許多類型的數(shù)據(jù)，例如數(shù)學(xué)公式和軟件代碼。在軟件領(lǐng)域，語(yǔ)言模型可以編寫簡(jiǎn)短的程序并為程序員提供幫助(32)。圖像-與圖像相關(guān)的許多通用AI模型可以將圖像作為可能與文本結(jié)合的輸入，例如Anthropic的Claude3(444*)，并且可以用于分類(34)，描述(2*)，編碼(35)或分割圖像，以區(qū)分其中的不同對(duì)象(36*)。通用AI模型也可以生成圖像作為輸出，例如OpenAI的DALL-E3(9*)。先進(jìn)的通用人工智能模型可以生成越來越可控的圖像，對(duì)更復(fù)雜的概念和圖像中的文本渲染(9*)有顯著的改進(jìn)。.與視頻相關(guān)的通用AI模型將現(xiàn)有視頻作為輸入，例如Meta的v-jepa(37*)，或者可以從文本生成視頻，例如OpenAI的Sora(38*)。一些通用AI模型學(xué)習(xí)對(duì)可以在視頻中跨時(shí)間跟蹤的對(duì)象屬性進(jìn)行編碼。電流InternationalScientificReportontheSafetyofAdvancedAI:InterimReport模型可以生成逼真的視頻，但在長(zhǎng)度(通常小于一分鐘)，保真度和一致性方面受到限制。.機(jī)器人動(dòng)作-可以使用通用AI模型來規(guī)劃多步機(jī)器人動(dòng)作，并解釋指令以指導(dǎo)較低級(jí)別的動(dòng)作(39)。最初的工作還在探索通用AI模型，這些模型不僅可以計(jì)劃或解釋，還可以生成機(jī)器人動(dòng)作，例如Google的RT-2-X(40*)，但是生成機(jī)器人動(dòng)作的通用AI模型功能相對(duì)較少。部分原因是，數(shù)據(jù)收集是具有挑戰(zhàn)性的，雖然正在作出大量的努力(4241，)。.蛋白質(zhì)和大分子-與蛋白質(zhì)和其他大分子一起工作的通用AI模型對(duì)各種表示(例如殘基序列，3D結(jié)構(gòu))進(jìn)行操作。這些模型可以預(yù)測(cè)蛋白質(zhì)折疊，生成有用的新蛋白質(zhì)，并執(zhí)行一系列與蛋白質(zhì)相關(guān)的任務(wù)。因此，它們屬于通用AI模型的定義1。介紹。蛋白質(zhì)通用AI模型可以越來越多地控制led，以生成跨大型蛋白質(zhì)家族具有可預(yù)測(cè)功能的蛋白質(zhì)設(shè)計(jì)43，44。2.2.2技能的能力和限制為了全面評(píng)估通用人工智能能力，通過展示知識(shí)、推理和創(chuàng)造力等眾所周知的技能對(duì)它們進(jìn)行分類可能會(huì)有所幫助。與按模態(tài)分類相比，技能更難精確定義，但為通用AI功能提供了更直觀的視角。從技能的角度來看，當(dāng)今最強(qiáng)大的通用AI系統(tǒng)顯示出部分熟練程度，但并不完全可靠。專家們經(jīng)常不同意目前的通用人工智能系統(tǒng)是否可以說具有特定的技能。一種看待這一點(diǎn)的方法是通過能力限制對(duì)。.知識(shí)(能力)和不一致(限制)--通用人工智能模型對(duì)公共互聯(lián)網(wǎng)上發(fā)現(xiàn)的廣泛事實(shí)進(jìn)行編碼(45)，但在識(shí)別細(xì)微的事實(shí)差異方面受到限制，并不總是生成自洽的文本。因此，從通用AI模型中獲取知識(shí)可能是不一致的(4645，)。.創(chuàng)造力(能力)和幻覺(限制)-通用AI模型可以生成新穎的示例(例如，新的圖像或文本)。這種類型的“創(chuàng)造力”可能是有用的，但也可能導(dǎo)致制造內(nèi)容的“幻覺”。對(duì)于example，語(yǔ)言模型通常會(huì)生成不存在的引文，傳記或事實(shí)(46，47*，48，5049，)，這些都會(huì)帶來錯(cuò)誤信息的風(fēng)險(xiǎn)(請(qǐng)參閱4.1。惡意使用風(fēng)險(xiǎn))。.常識(shí)推理(能力)和因果關(guān)系(限制)-諸如“常識(shí)”或“推理”之類的術(shù)語(yǔ)在人工智能領(lǐng)域通常沒有很好的定義，并且通常以不同于日常使用的方式來描述人類的能力。在某些情況下，通用人工智能模型展示了模仿廣泛的“常識(shí)知識(shí)”的能力(51)，逐步解決相對(duì)復(fù)雜問題的能力(24)。以及在給定的上下文中學(xué)習(xí)和應(yīng)用新模式的能力(稱為“上下文學(xué)習(xí)”)(5230，)。然而，“推理”的適當(dāng)形式是上下文和任務(wù)相關(guān)的。通用人工智能系統(tǒng)在多大程度上表現(xiàn)出真正的“推理”或“常識(shí)”是有爭(zhēng)議的。研究表明(53)，即使在不尋常的情況下(53)，一些r的緩解能力也在提高常識(shí)推理問題，盡管其他形式的基本“常識(shí)知識(shí)”存在很大的局限性(54)。即使通用人工智能模型似乎對(duì)世界進(jìn)行了正確的“推理”，它們也可能沒有確定這種推理的潛在因果基礎(chǔ)(55)。有一個(gè)普遍的共識(shí)是，目前通用的人工智能缺乏人類水平的推理能力。.形式推理(能力)和組合(限制)-特別是當(dāng)給定額外的資源，如工具和多次嘗試時(shí)，語(yǔ)言模型可以在數(shù)學(xué)，計(jì)算機(jī)編程和自然科學(xué)等領(lǐng)域執(zhí)行一些形式推理任務(wù)。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport注意到上述關(guān)于在該領(lǐng)域使用“推理”一詞的警告。例如，研究表明，克勞德3模型接近研究生水平的專家在生物學(xué)，物理學(xué)和化學(xué)(4*)的相關(guān)問題上的表現(xiàn)-在克勞德3最初訓(xùn)練后創(chuàng)建的基準(zhǔn)上(有關(guān)基準(zhǔn)的討論，請(qǐng)參見2.4。能力進(jìn)展未來幾年，3。評(píng)估和理解通用人工智能系統(tǒng)的方法)。然而，這些模型使用“變壓器”架構(gòu)，這是當(dāng)今大多數(shù)通用人工智能系統(tǒng)所基于的，2017年引入(16)。原則上，這種體系結(jié)構(gòu)在執(zhí)行任意組合推理時(shí)具有基本限制，這是形式推理(56)的基礎(chǔ)。目前尚不清楚這些理論限制在實(shí)踐中的相關(guān)性。.預(yù)測(cè)(能力)和新概念(限制)-當(dāng)集成到更復(fù)雜的系統(tǒng)中時(shí)，語(yǔ)言模型可以用于在受限領(lǐng)域中以合理的預(yù)測(cè)精度預(yù)測(cè)未來事件。最近的一項(xiàng)研究(57)表明，使用檢索的語(yǔ)言模型系統(tǒng)可以在統(tǒng)計(jì)預(yù)測(cè)問題(即預(yù)測(cè)事件的概率)上與專家預(yù)測(cè)者的總體性能相匹配。然而，雖然目前的能力表明模型可以綜合信息來推斷未來事件的可能性，但模型可以綜合全新概念的程度似乎是有限的(58)。.模擬(能力)和實(shí)施(限制)-當(dāng)集成到虛擬環(huán)境中時(shí)，通用AI模型可以模擬虛擬代理的行為(59)。例如，最近的研究表明，由openai的ChatGPT提供支持的25個(gè)虛擬代理可以以與人類行為相匹配的方式運(yùn)營(yíng)虛擬城鎮(zhèn)(60)。然而，雖然目前的通用人工智能模型可以模擬虛擬代理，但它們?cè)凇皩?shí)施方式”上受到限制，還不能有效地控制物理機(jī)器人或機(jī)器，因?yàn)橥ㄓ萌斯ぶ悄苣Ｐ团c電機(jī)控制系統(tǒng)的集成仍然是一個(gè)挑戰(zhàn)(61)。2.3能力及其驅(qū)動(dòng)因素的最新趨勢(shì).近年來，通用人工智能能力根據(jù)許多指標(biāo)迅速發(fā)展，這要?dú)w功于用于訓(xùn)練和算法改進(jìn)的資源的增加。每個(gè)模型，這些估計(jì)都增加了:o訓(xùn)練計(jì)算:4倍/年o訓(xùn)練數(shù)據(jù)集大小:2.5倍/年o算法訓(xùn)練效率:1.5倍至3倍/年o培訓(xùn)期間用于為計(jì)算機(jī)芯片供電的能量:3倍/年o硬件效率:1.3倍/年.近年來，使用越來越多的計(jì)算和數(shù)據(jù)來訓(xùn)練通用AI模型被稱為“擴(kuò)展”模型。廣泛指標(biāo)的性能隨著規(guī)模的擴(kuò)大而提高，許多人工智能研究人員一致認(rèn)為，近年來，擴(kuò)展推動(dòng)了高級(jí)通用人工智能功能的大部分增長(zhǎng)。然而，人們爭(zhēng)論這是否導(dǎo)致了諸如因果推理等基本挑戰(zhàn)的進(jìn)展。2.3.1計(jì)算、數(shù)據(jù)和算法的最新趨勢(shì)在過去十年中，對(duì)計(jì)算資源的投資增加，硬件效率的提高，易于在線訪問的數(shù)據(jù)集的存在以及算法的漸進(jìn)式創(chuàng)新為通用AI的發(fā)展做出了貢獻(xiàn)。本節(jié)研究計(jì)算能力、數(shù)據(jù)和算法的最新趨勢(shì)。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport用于訓(xùn)練AI模型的計(jì)算資源一直在快速增加。計(jì)算資源(通常稱為“計(jì)算機(jī)”)表示所執(zhí)行的操作的數(shù)量。自21世紀(jì)10年代初以來，這一數(shù)字呈指數(shù)級(jí)增長(zhǎng)，用于訓(xùn)練機(jī)器學(xué)習(xí)m模型的平均數(shù)量大約每六個(gè)月翻一番(17)。2010，著名的機(jī)器學(xué)習(xí)模型(62，63，64)平均使用了大約1e15個(gè)浮點(diǎn)運(yùn)算(FLOP)(65)，但2023年拐點(diǎn)-2，這是公開報(bào)告計(jì)算預(yù)算的最大模型。二手1e25翻牌(66*)-增加100億倍。這一進(jìn)展是由行業(yè)實(shí)驗(yàn)室愿意將更多數(shù)據(jù)中心容量用于大規(guī)模通用AI培訓(xùn)推動(dòng)的。沒有足夠的數(shù)據(jù)來確定這種趨勢(shì)是否在較短的時(shí)期內(nèi)發(fā)生變化，例如21世紀(jì)20年代。圖1.隨著時(shí)間的推移訓(xùn)練值得注意的機(jī)器學(xué)習(xí)模型的計(jì)算(17，65)。計(jì)算是在從AI文獻(xiàn)估計(jì)的總浮點(diǎn)運(yùn)算(FLOP)中測(cè)量的。對(duì)于GPT-4等最近未公開的模型，估計(jì)的準(zhǔn)確性預(yù)計(jì)在兩倍或五倍之內(nèi)。從“機(jī)器學(xué)習(xí)中的參數(shù)，計(jì)算和數(shù)據(jù)趨勢(shì)”中獲得EpochAI的許可。在線發(fā)布t。檢索自:'https:///data/epoc在過去的十五年里，每美元的計(jì)算量增加了大約50到200倍(6867，67)。然而，用于訓(xùn)練通用人工智能模型的計(jì)算總量遠(yuǎn)遠(yuǎn)超過了計(jì)算成本的降低:例如，谷歌的Word2vec模型使用了大約3e16個(gè)FLOP2013年進(jìn)行訓(xùn)練，比目前的frontier模型(65)小10億倍。雖然GPU性能的改進(jìn)有所幫助，但這些改進(jìn)部分受到數(shù)據(jù)中心GPU短缺和AI應(yīng)用程序中使用的頂級(jí)GPU價(jià)格高昂的限制。高端處理器，包裝，高帶寬內(nèi)存和其他組件的供應(yīng)鏈短缺正在延遲技術(shù)部門滿足對(duì)AI服務(wù)器等人工智能硬件的巨大需求的能力(69)。通用AI計(jì)算使用的擴(kuò)展主要是行業(yè)實(shí)驗(yàn)室越來越愿意將數(shù)據(jù)中心資源和工程人員分配給大規(guī)模通用AI培訓(xùn)運(yùn)行的結(jié)果。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport神經(jīng)“縮放定律”的發(fā)現(xiàn)，描述了計(jì)算量，模型和數(shù)據(jù)的大小以及性能之間的可預(yù)測(cè)關(guān)系，促成了以計(jì)算為中心的AI開發(fā)觀點(diǎn)，這在一些領(lǐng)先的AI實(shí)驗(yàn)室中很突出。1，GoogleGeminiUltra和OpenAI的GPT-4等旗艦通用AI模型的開發(fā)是由擴(kuò)展法則(2*，3*)的工作指導(dǎo)的。因此，對(duì)硬件基礎(chǔ)設(shè)施專業(yè)知識(shí)的需求更大，并且AI實(shí)驗(yàn)室與微軟和谷歌等技術(shù)巨頭之間的合作更加緊密。2用于部署的計(jì)算資源也出現(xiàn)了顯著增長(zhǎng)。公司正在快速擴(kuò)展基礎(chǔ)設(shè)施以滿足這些不斷增長(zhǎng)的需求。推理所需的計(jì)算資源(向用戶提供通用AI系統(tǒng)的關(guān)鍵部分)經(jīng)歷了顯著增長(zhǎng)(76)，因?yàn)椴渴鹜ㄓ肁I系統(tǒng)的用戶數(shù)量快速增長(zhǎng)。據(jù)報(bào)道，在2023年4月，OpenAI的人工智能系統(tǒng)估計(jì)會(huì)產(chǎn)生700美元/天的推理成本(77)。一些估計(jì)表明，用于通用人工智能推理的總計(jì)算量已經(jīng)超過了用于訓(xùn)練新模型的計(jì)算量，例如，人工智能推理代表了谷歌人工智能基礎(chǔ)設(shè)施排放的60%2022年(78)。用于訓(xùn)練和推理的計(jì)算資源不斷增長(zhǎng)，也迅速擴(kuò)大了人工智能的能源使用(4.3.4風(fēng)險(xiǎn)環(huán)境)。訓(xùn)練數(shù)據(jù)趨勢(shì):更大的數(shù)據(jù)集、多模式、合成數(shù)據(jù)和人類偏好通用人工智能開發(fā)人員已經(jīng)能夠顯著增加訓(xùn)練數(shù)據(jù)集的大小，這要?dú)w功于互聯(lián)網(wǎng)內(nèi)容的可用性，包括開放的web數(shù)據(jù)存儲(chǔ)庫(kù)。這些較大的數(shù)據(jù)集有助于在各種指標(biāo)上實(shí)現(xiàn)更高的性能。用于訓(xùn)練通用AI的數(shù)據(jù)集大小已經(jīng)從原始Transformer模型的大約20億個(gè)令牌(令牌是一個(gè)單詞，一個(gè)字符，或者一個(gè)單詞的一部分次)增加到20173萬(wàn)億多個(gè)令牌(79*，2023年80*)，每三年增長(zhǎng)約10倍(65)。然而，通用的人工智能開發(fā)人員在互聯(lián)網(wǎng)上只有有限的文本數(shù)據(jù)可供利用(8281，)。雖然這可以克服，例如通過多次訓(xùn)練相同的數(shù)據(jù)，使用人工智能生成的數(shù)據(jù)，或在其他非文本數(shù)據(jù)源(如YouTube視頻)上進(jìn)行訓(xùn)練，但一些人認(rèn)為，2030年缺乏acceSible在線高質(zhì)量文本數(shù)據(jù)c會(huì)減緩模型有效縮放的速度(參見2.4.2資源將被縮放迅速?)。數(shù)據(jù)質(zhì)量在訓(xùn)練高性能語(yǔ)言模型中起著至關(guān)重要的作用。選擇高質(zhì)量數(shù)據(jù)并優(yōu)化dataset的整體組成可以顯著提高模型性能，但是此過程需要大量勞動(dòng)(83，8584，)。此外，測(cè)量和分析數(shù)據(jù)以識(shí)別和減輕pr缺陷，如偏見和缺乏多樣性，對(duì)于產(chǎn)生高質(zhì)量的模型至關(guān)重要(86*)。在圖像，音頻和視頻以及文本等多種模式上訓(xùn)練通用AI模型最近獲得了牽引力。GPT-4、克勞德3和雙子座超等通用人工智能模型結(jié)合了不同的模態(tài)來執(zhí)行需要聯(lián)合處理文本、視覺和聽覺信息的任務(wù)，例如分析帶有文本和圖形的文檔或創(chuàng)建多媒體演示(2*,3*,4*)。“人類偏好”數(shù)據(jù)捕獲用戶喜歡的輸出類型，對(duì)于開發(fā)通用AI系統(tǒng)至關(guān)重要。這些數(shù)據(jù)不能從公開可用的來源中挖掘，但必須專門為培訓(xùn)而生成;因此，它比用于1神經(jīng)縮放定律已經(jīng)顯著影響了一些前沿人工智能實(shí)驗(yàn)室以計(jì)算為中心的人工智能開發(fā)觀點(diǎn)。Anthr“制定了縮放定律，以幫助我們進(jìn)行系統(tǒng)的，經(jīng)驗(yàn)驅(qū)動(dòng)的研究(...)，以更有效，更可預(yù)測(cè)地訓(xùn)練網(wǎng)絡(luò)，并評(píng)估我們自己的進(jìn)74*)之間存在合作關(guān)系。mistral和MicrosoInternationalScientificReportontheSafetyofAdvancedAI:InterimReport預(yù)培訓(xùn)。這些數(shù)據(jù)有助于微調(diào)語(yǔ)言模型，以符合用戶和開發(fā)人員的需求，適應(yīng)不同的偏好，并根據(jù)人類對(duì)質(zhì)量和幫助的判斷(20、21*、87*)。人工智能實(shí)驗(yàn)室和大公司可能在生產(chǎn)和訪問大量專有的人類偏好數(shù)據(jù)方面具有優(yōu)勢(shì)。隨著時(shí)間的推移，最強(qiáng)大的通用人工智能模型的技術(shù)和訓(xùn)練方法得到了持續(xù)和可靠的改進(jìn)(88*，89)。在圖像分類、游戲和語(yǔ)言建模等關(guān)鍵領(lǐng)域，人工智能技術(shù)和訓(xùn)練方法的效率大約每2到5年就會(huì)提高10倍。例如，訓(xùn)練模型以執(zhí)行圖像分類以達(dá)到設(shè)定的性能水平所需的計(jì)算量2012年減少了44倍和2019倍，這意味著效率在16個(gè)月內(nèi)翻了一番。玩游戲的人工智能系統(tǒng)每5到20個(gè)月需要一半的訓(xùn)練樣本(90)。在語(yǔ)言建模中，達(dá)到固定性能水平的計(jì)算要求大約每8個(gè)月平均2012年減半(89)。這些進(jìn)步使通用AI研究人員和實(shí)驗(yàn)室能夠在有限的硬件預(yù)算范圍內(nèi)開發(fā)出更強(qiáng)大的模型。在算法中也有增量的進(jìn)步，這些進(jìn)步并不能最好地理解為提高計(jì)算效率。例如，新技術(shù)顯著增加了上下文窗口的大小，允許通用人工智能系統(tǒng)處理更大量的信息(31*，91*，92*)。訓(xùn)練后算法允許g通用AI系統(tǒng)使用工具并在沒有人類幫助的情況下在世界上采取行動(dòng)(請(qǐng)參閱2.4.3。算法的進(jìn)步會(huì)導(dǎo)致快速的進(jìn)步嗎？)。盡管人工智能算法取得了重大進(jìn)展，但近年來通用人工智能的重大概念突破相對(duì)較少。“Transformer架構(gòu)”可能仍然是最重要的創(chuàng)新，并且被最先進(jìn)的通用AI系統(tǒng)(16)使用。雖然已經(jīng)提出了許多替代架構(gòu)，但沒有一個(gè)在實(shí)質(zhì)上并且始終如一地優(yōu)于變壓器。一旦經(jīng)過適當(dāng)測(cè)試，最近的“選擇性狀態(tài)空間模型”(93)可能會(huì)被證明比變壓器更有效。這些模型強(qiáng)化了最近的趨勢(shì)，即允許語(yǔ)言模型分析更長(zhǎng)的上下文，例如書籍和大型軟件項(xiàng)目。如果需要更基本的概念突破來推進(jìn)通用人工智能能力，這可能是進(jìn)一步發(fā)展的關(guān)鍵障礙，即使增量改進(jìn)和擴(kuò)展繼續(xù)推動(dòng)某些領(lǐng)域的快速進(jìn)展(見2.4.1。如果資源繼續(xù)快速擴(kuò)展，這會(huì)導(dǎo)致快速的進(jìn)步嗎？)。通用人工智能的發(fā)展越來越快，在某些指標(biāo)上接最近通用人工智能的發(fā)展速度很快，在某些指標(biāo)上經(jīng)常超過人工智能專家的預(yù)期。在過去的十年中，人工智能在計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、圖像識(shí)別和自然語(yǔ)言理解等領(lǐng)域的一些基準(zhǔn)測(cè)試中，已經(jīng)達(dá)到或超過了人類的平均水平(圖2)。LLMs的最新進(jìn)展建立在這一長(zhǎng)期趨勢(shì)的基礎(chǔ)上。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport圖2。AI模型在各種基準(zhǔn)上的性能1998年2024年，包括計(jì)算機(jī)視覺(MNIST、ImageNet)、語(yǔ)音識(shí)別(Switchboard)、自然語(yǔ)言理解(SQuAD1.1、MMLU、GLUE)、通用語(yǔ)言模型評(píng)估(MMLU、Big-Bench和GPQA)和數(shù)學(xué)推理(MATH)。許多模型都超過了人類水平的性能(黑色實(shí)線)2024年，這表明過去二十年來，人工智能在不同領(lǐng)域的能力取得了重大進(jìn)步。數(shù)據(jù)來自mn的(94個(gè))，Switchboard，ImageNet，SQuAD1.1，2和GLUE。MMLU、BigBench、GPQA的數(shù)據(jù)(95、96、97)來自相關(guān)論文。LLM功能在多個(gè)領(lǐng)域2020年和2024中取得了顯著進(jìn)步，如大規(guī)模多任務(wù)語(yǔ)言理解(MMLU)(95)，Big-Bench(96)和研究生水平的Google證明Q&A(GPQA)(97)。2020年，在許多基準(zhǔn)測(cè)試中，通用人工智能模型的表現(xiàn)遠(yuǎn)遠(yuǎn)低于人類測(cè)試一下的平均水平;2024年，先進(jìn)的通用人工智能模型已經(jīng)接近人類水平的表現(xiàn)。例如，考慮數(shù)學(xué)基準(zhǔn)測(cè)試(98)，它測(cè)試數(shù)學(xué)解決問題的能力。最初，通用人工智能系統(tǒng)在這個(gè)基準(zhǔn)測(cè)試中表現(xiàn)不佳，但在發(fā)布兩年后，GPT-4似乎達(dá)到了42.5%的準(zhǔn)確性(99*)，隨后的工作將使用GPT-4的最先進(jìn)性能推向了84.3%(100)。接近專家測(cè)試人員獲得的分?jǐn)?shù)。盡管基準(zhǔn)指標(biāo)取得了快速進(jìn)展，但與現(xiàn)實(shí)任務(wù)相比，這些基準(zhǔn)是非常有限的，專家們爭(zhēng)論這些指標(biāo)是否有效地評(píng)估了真正的概括和有意義的理解(101)。最先進(jìn)的通用人工智能模型經(jīng)常在一些基準(zhǔn)測(cè)試中表現(xiàn)出意想不到的弱點(diǎn)，這表明它們完全依賴于記憶模式，而不是采用強(qiáng)大的推理或抽象思維(103102，)。在某些情況下，模型是在benchmark解決方案上意外訓(xùn)練的，盡管缺乏實(shí)際能力(105104，)，但仍具有較高的基準(zhǔn)性能。模型也很難適應(yīng)訓(xùn)練數(shù)據(jù)(106)中較少代表的文化。這突顯了基準(zhǔn)測(cè)試結(jié)果與可靠地將知識(shí)應(yīng)用于實(shí)際現(xiàn)實(shí)情況的能力之間的巨大差異。雖然將人類的認(rèn)知能力與通用人工智能系統(tǒng)的能力進(jìn)行比較可能很誘人，但它們有明顯的優(yōu)勢(shì)和劣勢(shì)，使得這些比較InternationalScientificReportontheSafetyofAdvancedAI:InterimReport在許多情況下意義不大。雖然通用人工智能在某些領(lǐng)域表現(xiàn)出色，但它可能缺乏人類(102)深刻的概念理解和抽象推理能力。目前的通用人工智能系統(tǒng)往往性能參差不齊，在一些狹窄的領(lǐng)域表現(xiàn)出色，而在其他領(lǐng)域表現(xiàn)不佳(102)。當(dāng)前的通用人工智能系統(tǒng)容易出現(xiàn)一些人類沒有的故障(108107，)。通用人工智能推理可能“脆弱”(無(wú)法應(yīng)對(duì)新的場(chǎng)景)，并且過度受到表面相似性的影響(102)。在人類通常擅長(zhǎng)的環(huán)境中，llm可能無(wú)法推理。例如，一個(gè)包含“OlafScholz是德國(guó)第九任總理”的數(shù)據(jù)訓(xùn)練模型將無(wú)法自動(dòng)回答“誰(shuí)是德國(guó)第九任總理”的問題(107)。此外，llm可以通過無(wú)意義的輸入來利用，從而偏離其通常的保護(hù)措施，而人類會(huì)識(shí)別這些提示(請(qǐng)參閱5.2。培訓(xùn)更值得信賴的模型)。隨著計(jì)算能力和數(shù)據(jù)的規(guī)模，語(yǔ)言模型的總體性能得到了可靠且可預(yù)測(cè)的改善。研究人員發(fā)現(xiàn)了經(jīng)驗(yàn)性的“縮放定律”，可以量化中的the與模型在下一個(gè)單詞預(yù)測(cè)(109*，next-word-prediction)等廣泛性能指標(biāo)上的能力之間的關(guān)系。110*?？绮煌I(lǐng)域的實(shí)證研究已經(jīng)證明，機(jī)器學(xué)習(xí)系統(tǒng)ems的的性能提高了計(jì)算資源的，包括視覺(111*，112)，語(yǔ)言建模(109*，110*)，和游戲(113*)。圖3.交叉-熵?fù)p失可預(yù)測(cè)地在經(jīng)驗(yàn)研究的訓(xùn)練運(yùn)行的廣泛range上進(jìn)行計(jì)算。FLOPS是指在訓(xùn)練期間執(zhí)行的操作的數(shù)量。(110*的數(shù)字)。不同的顏色代表具有不同數(shù)量參數(shù)的模型。每條線顯示了模型的訓(xùn)練失敗次數(shù)增加時(shí)損失如何下降。權(quán)限是從作者那里尋求的。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport最著名的縮放定律預(yù)測(cè)，隨著語(yǔ)言模型規(guī)模的增長(zhǎng)和對(duì)更多數(shù)據(jù)的訓(xùn)練，它們?cè)?可預(yù)測(cè)的數(shù)量()。具體地說，這些模型在預(yù)測(cè)序列中的下一個(gè)“標(biāo)記”時(shí)變得更加準(zhǔn)確，該“標(biāo)記”可以是單詞，字符或數(shù)字。當(dāng)這種性能提高時(shí)，模型實(shí)際上會(huì)在數(shù)據(jù)集中隱含的任務(wù)方面變得更好。例如，隨著模型的擴(kuò)展，通用AI模型性能已被觀察到持續(xù)改進(jìn)廣泛的基準(zhǔn)，這些基準(zhǔn)測(cè)試一下許多功能，例如MMLU(95)。圖4。在諸如Big-Bench之類的廣泛基準(zhǔn)上的性能與參數(shù)縮放和更普遍的計(jì)算縮放密切相關(guān)。這個(gè)數(shù)字來自(96)。這些比例定律是從經(jīng)驗(yàn)觀察得出的。它們，非from在違反原則，盡管已經(jīng)提出了理論模型來解釋它們(115*，116*，117，118，119)。因此，在數(shù)學(xué)上無(wú)法保證它們將繼續(xù)適用于超出用于建立它們的經(jīng)驗(yàn)數(shù)據(jù)范圍的標(biāo)度。綜合基準(zhǔn)測(cè)試中許多任務(wù)的綜合性能可以根據(jù)模型規(guī)模進(jìn)行部分預(yù)測(cè)(參見圖4)，但是，目前尚不清楚我們是否可以可靠地提前預(yù)測(cè)是否以及何時(shí)會(huì)出現(xiàn)特定功能。有許多記錄在案的示例，當(dāng)模型達(dá)到一定規(guī)模時(shí)，有時(shí)會(huì)突然出現(xiàn)，而沒有明確地編程到模型(120，121，123)中。例如，一定規(guī)模的大型語(yǔ)言模型在被提示逐步執(zhí)行計(jì)算時(shí)，已經(jīng)獲得了以高精度執(zhí)行大數(shù)加法的能力。一些研究人員有時(shí)將這些定義為“緊急”能力(120，121，122*，123)，表明它們存在于較大的模型中，但不存在于較小的模型中，因此它們的出現(xiàn)可能很難提前預(yù)測(cè)。這表明新能力，包括有益和潛在有害的能力，可能會(huì)意外出現(xiàn)。,人們爭(zhēng)論這些能力是逐漸出現(xiàn)還是突然出現(xiàn)，對(duì)于它們可以提前多久預(yù)測(cè)也存在分歧。最近的研究發(fā)現(xiàn)，如果使用更多線性和連續(xù)的指標(biāo)來衡量進(jìn)度(124)，則某些此類功能會(huì)漸進(jìn)和可預(yù)測(cè)。這導(dǎo)致一些研究人員質(zhì)疑能力是“新興的”，因?yàn)槿斯ぶ悄苤谐霈F(xiàn)的一些定義要求能力以一定的規(guī)模突然出現(xiàn)(124)。這表明，目前似乎突然出現(xiàn)的能力可能會(huì)變成3這項(xiàng)工作隱含地將數(shù)據(jù)視為同質(zhì)的;最近的工作研究了縮放定律和數(shù)據(jù)集InternationalScientificReportontheSafetyofAdvancedAI:InterimReport如果使用不同的進(jìn)度指標(biāo)，可以提前預(yù)測(cè)。這是一個(gè)懸而未決的問題，是否可以預(yù)測(cè)新模型的新功能，以及提前多長(zhǎng)時(shí)間。最近的研究已經(jīng)確定了“逆scaling”的例子，其中語(yǔ)言模型性能惡化，因?yàn)槟Ｐ痛笮『陀?xùn)練計(jì)算增加(125)。例如，當(dāng)被要求用新的結(jié)尾完成一個(gè)常用短語(yǔ)時(shí)，較大的模型更有可能失敗，并簡(jiǎn)單地復(fù)制記憶的短語(yǔ)，而不是(125)。雖然模型縮放有時(shí)會(huì)導(dǎo)致性能下降，但對(duì)這種現(xiàn)象的研究也會(huì)發(fā)現(xiàn)性能出現(xiàn)隨機(jī)波動(dòng)。當(dāng)外推到更大的模型時(shí)，一些明顯的反向縮放趨勢(shì)可能不會(huì)持續(xù)，性能最終會(huì)(126)再次提高。逆縮放的全部含義仍不清楚，可能需要進(jìn)一步研究以更好地理解這一現(xiàn)象。2.4未來幾年的能力進(jìn)步.通用人工智能能力的未來進(jìn)展速度對(duì)管理新興風(fēng)險(xiǎn)具有重要意義，但專家們對(duì)未來的預(yù)期存在分歧，即使是在不久的將來。專家們以各種方式支持通用人工智能能力緩慢、快速或極快發(fā)展的可能性。.這種分歧涉及一個(gè)關(guān)鍵問題:繼續(xù)“擴(kuò)展”和完善現(xiàn)有技術(shù)是否會(huì)產(chǎn)生快速進(jìn)展，或者這種方法是否受到根本限制，是否需要不可預(yù)測(cè)的研究突破來大幅提高通用人工智能能力？那些認(rèn)為需要研究突破的人通常認(rèn)為，最近的進(jìn)展并沒有克服常識(shí)推理和靈活的世界模型等基本挑戰(zhàn)。.近年來，三個(gè)主要因素推動(dòng)了人工智能的進(jìn)步:擴(kuò)大訓(xùn)練中使用的計(jì)算能力(“計(jì)算機(jī)”);擴(kuò)大訓(xùn)練數(shù)據(jù)量;改進(jìn)人工智能技術(shù)和訓(xùn)練方法。.領(lǐng)先的人工智能公司正在押注這三個(gè)因素繼續(xù)推動(dòng)改進(jìn)，特別是增加計(jì)算。如果最近的趨勢(shì)繼續(xù)下去，到2026年年底，一些通用人工智能模型將使用目前發(fā)布的計(jì)算密集型模型的40到100倍的計(jì)算量進(jìn)行訓(xùn)練，結(jié)合大約3到20倍的更高效的技術(shù)和訓(xùn)練方法。.然而，進(jìn)一步增加數(shù)據(jù)和計(jì)算存在潛在的瓶頸，包括數(shù)據(jù)的有限可用性、人工智能芯片生產(chǎn)挑戰(zhàn)、高總成本和有限的本地能源供應(yīng)。人工智能公司正在努力克服這些瓶頸。擴(kuò)展的速度還取決于可能對(duì)AI部署和開發(fā)施加限制或條件的法規(guī)。本節(jié)研究了進(jìn)一步擴(kuò)展計(jì)算和訓(xùn)練數(shù)據(jù)的可行性和有效性，以及通過算法開發(fā)快速發(fā)展的潛力?？傮w而言，這兩種方法都可能加起來，并導(dǎo)致進(jìn)一步的進(jìn)步，但沒有商定的方法來預(yù)測(cè)進(jìn)步的步伐。有關(guān)AI能力的全球差異的討論，請(qǐng)參見4.3。2全球AI鴻溝。30InternationalScientificReportontheSafetyofAdvancedAI:InterimReport2.4.1如果資源繼續(xù)快速擴(kuò)展，這是否會(huì)導(dǎo)致快速進(jìn)步？關(guān)于未來進(jìn)展的分歧的一個(gè)關(guān)鍵驅(qū)動(dòng)因素是如何解釋過去的進(jìn)展。近年來，擴(kuò)展計(jì)算資源和數(shù)據(jù)已導(dǎo)致通用AI系統(tǒng)的性能持續(xù)提高，這可以通過一系列基準(zhǔn)測(cè)試的更高分?jǐn)?shù)來證明(作為通用AI模型被放大，它們的能力提高了整體，但到目前為止，這種增長(zhǎng)很難預(yù)測(cè)特定能力)。一些人工智能研究人員認(rèn)為，過去的進(jìn)展涉及通用人工智能系統(tǒng)在理解和推理能力方面的重大而有意義的進(jìn)步，并且隨著更多的計(jì)算和可能適度的概念創(chuàng)新，這種持續(xù)的進(jìn)步可能會(huì)導(dǎo)致通用人工智能系統(tǒng)的發(fā)展，這些系統(tǒng)在大多數(shù)認(rèn)知任務(wù)(127)的廣泛人類水平或更高的水平上運(yùn)行。其他研究人員對(duì)此表示懷疑。他們認(rèn)為，目前基于深度學(xué)習(xí)的通用人工智能系統(tǒng)(目前主要的機(jī)器學(xué)習(xí)方法依賴于深度人工神經(jīng)網(wǎng)絡(luò)(15))，從根本上缺乏智能的關(guān)鍵組成部分。特別是，一些人認(rèn)為當(dāng)前的深度學(xué)習(xí)系統(tǒng)缺乏因果推理能力(128)、從有限數(shù)據(jù)中抽象出來、常識(shí)推理(102，130129，)和靈活的預(yù)測(cè)世界模型(55，)。se的研究人員認(rèn)為，這些缺點(diǎn)不能僅通過縮放來解決(102，130129，)。當(dāng)前系統(tǒng)的重大局限性支持了這一點(diǎn)，2.2討論了當(dāng)前通用AI系統(tǒng)的能力。他們認(rèn)為，解決這些局限性，可能需要超越當(dāng)前深度學(xué)習(xí)范式的重大概念突破和創(chuàng)新。這表明，在通用人工智能系統(tǒng)中實(shí)現(xiàn)人類水平的性能需要重大的概念突破，而目前由漸進(jìn)式改進(jìn)驅(qū)動(dòng)的進(jìn)展類型不足以實(shí)現(xiàn)這一目標(biāo)。導(dǎo)致通用人工智能能力重大飛躍的基本概念突破是罕見且不可預(yù)測(cè)的。即使發(fā)明了新技術(shù)，現(xiàn)有的通用人工智能系統(tǒng)的基礎(chǔ)設(shè)施和開發(fā)者慣例也可能為大規(guī)模應(yīng)用它們提供障礙。因此，如果需要重大的概念突破，可能需要很多年才能實(shí)現(xiàn)。這些對(duì)立的觀點(diǎn)不一定是不相容的:盡管目前最先進(jìn)的深度學(xué)習(xí)系統(tǒng)的推理能力比大多數(shù)人類弱，但我們看到的是從一代通用人工智能模型到下一代的進(jìn)步。許多人工智能研究人員正在探索適應(yīng)通用人工智能模型的方法，以解鎖或改進(jìn)“系統(tǒng)2”推理(分析、基于規(guī)則和控制的推理)和“自主代理”能力。如果這些能力取得進(jìn)展，可能會(huì)對(duì)未來幾年的人工智能風(fēng)險(xiǎn)管理產(chǎn)生重要影響。4.41交叉技術(shù)