OpenAI：GPT-4o安全技術(shù)報(bào)告（中文）

GPT-4o系統(tǒng)2024年8月圖像和視頻的任何組合作為輸入，并生成文本、音頻和圖像的任何組合輸出。它是跨文本、視覺和音頻進(jìn)行端到端訓(xùn)練的，這意味著所有輸入和輸出都由同一個(gè)神經(jīng)網(wǎng)絡(luò)處理GPT-4o可以在短至232毫秒的時(shí)間內(nèi)響應(yīng)音頻輸入，平均為320毫秒，這與人類在對(duì)話中的響應(yīng)時(shí)間相似它英文文本和代碼上與GPT-4Turbo性能相匹配，在非英文語言中的文本上有顯著改進(jìn)在視覺和音頻理解方面尤其出色。限制和多個(gè)類別的安全評(píng)估，重點(diǎn)關(guān)注語音到語音（語音）1，同時(shí)還評(píng)估文本和圖像功能，以及我們?yōu)榇_保模型安全和一致而實(shí)施的措施我們還包括第三方評(píng)估，以及對(duì)GPT-4o文本和視覺能力的潛在社會(huì)影響的討論模型數(shù)據(jù)和GPT-4o的文本和語音功能使用截至2023年10月的數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，這些數(shù)據(jù)來自各種材料，包括：數(shù)據(jù)集和網(wǎng)絡(luò)抓取數(shù)據(jù)，如付費(fèi)內(nèi)容，檔案和元數(shù)據(jù)。例如，我們與Shutterstock[5]合作構(gòu)建和交付AI生成的圖像。1一些評(píng)估，特別是大多數(shù)備災(zāi)評(píng)估、第三方評(píng)估和一些社會(huì)影響，根據(jù)所評(píng)估的風(fēng)險(xiǎn)，側(cè)重于GPT-4o的文本和視覺能力。這在整個(gè)系統(tǒng)卡中都有相應(yīng)的指示。對(duì)GPT-4o功能有貢獻(xiàn)的關(guān)鍵數(shù)據(jù)集組件Web數(shù)據(jù)：來自公共網(wǎng)頁(yè)的數(shù)據(jù)提供了豐富多樣的信息，確保模型從各種各樣的角度和主題中學(xué)習(xí)。代碼和數(shù)學(xué)：在訓(xùn)練中包含代碼和數(shù)學(xué)數(shù)據(jù)，通過將其暴露于結(jié)構(gòu)化邏輯和解決問題的過程，幫助模型開發(fā)強(qiáng)大的推理技能多模態(tài)數(shù)據(jù)-我們的數(shù)據(jù)集包括圖像，音頻和視頻，以教LLM如何解釋和生成非文本輸入和輸出。從這些數(shù)據(jù)中，該模型模式和語音細(xì)微差別。，模型，例如信息危害、偏見和歧視，或其他違反我們使用政策的內(nèi)容我們使用多種方法的組合，跨越我們將模型與人類偏好相匹配;我們將生成的模型紅隊(duì)化，并添加了產(chǎn)品級(jí)的緩解措施，如監(jiān)控和執(zhí)行;我們向用戶提供了審核工具和透明度報(bào)告。，與其他安全緩解措施一起，幫助從我們的數(shù)據(jù)集中排除不需要的和有害的信息我們使用我們審核API和安全分類器來過濾掉可能導(dǎo)致有害內(nèi)容或信息危害的數(shù)據(jù)，包括CSAM、仇恨內(nèi)容、暴力和，明確的內(nèi)容，例如圖形性材料和CSAM。在發(fā)布DALL-E3時(shí)，我們嘗試了一種新方法，讓用戶能夠選擇系列模型風(fēng)險(xiǎn)識(shí)別、評(píng)估和根據(jù)我們準(zhǔn)備框架[4]評(píng)估了GPT-4o。OpenAI與100多名外部紅隊(duì)隊(duì)員合作，他們總共說45種不同的從2024年3月初開始到6月底外部紅隊(duì)進(jìn)行了四個(gè)階段。前三個(gè)階段通過內(nèi)部工具測(cè)試模型，最后一個(gè)階段使用完整的iOS體驗(yàn)來測(cè)試模型在撰寫本文時(shí)，GPT-4oAPI的外部紅色團(tuán)隊(duì)正在進(jìn)行中。該檢查點(diǎn)接收音頻和文本作為輸入，并生成音頻和文本作為輸出。該檢查點(diǎn)接收音頻、圖像文本作為輸入，并生成音頻和文本作為輸出。音頻、圖像和文本作為輸出。，體驗(yàn);通過內(nèi)部工具進(jìn)行審查和標(biāo)記。工作建立在先前工作的基礎(chǔ)上，包括GPT-4系統(tǒng)卡[6]和GPT-4（V）系統(tǒng)卡[7]中所述。紅色團(tuán)隊(duì)涵蓋的類別包括違規(guī)和不允許的內(nèi)容（非法色情2跨自我報(bào)告的專業(yè)領(lǐng)域包括：認(rèn)知科學(xué)，化學(xué)，生物學(xué)，物理學(xué)，計(jì)算機(jī)科學(xué)，隱寫術(shù)，政治學(xué)，心理學(xué)，說服學(xué)，經(jīng)濟(jì)學(xué)，人類學(xué)，社會(huì)學(xué)，HCI，公平和偏見，對(duì)齊，教育，醫(yī)療保健，法律，兒童安全，網(wǎng)絡(luò)安全，金融，錯(cuò)誤/虛假信息，政治使用，隱私，生物識(shí)別，語言和語言學(xué)特征歸因、私人信息、地理位置、個(gè)人識(shí)別、情感感知能力和多語言觀察。紅隊(duì)隊(duì)員生成的數(shù)據(jù)促使創(chuàng)建了幾項(xiàng)定量評(píng)價(jià)，這些評(píng)價(jià)在觀察到的安全性挑戰(zhàn)、評(píng)價(jià)和緩解措施章節(jié)中進(jìn)行了描述。在（例如，是否違反政策，是否被拒絕）此外，我們有時(shí)重新利用紅色的各種緩解措施的除了來自紅色團(tuán)隊(duì)的數(shù)據(jù)之外，一系列的評(píng)估數(shù)據(jù)集被轉(zhuǎn)換為使用文本到語音（TTS）系統(tǒng)（如語音引擎）的語音到語音模型的評(píng)估可用評(píng)估集。我們使用VoiceEngine將文本輸入轉(zhuǎn)換為音頻，將其饋送到GPT-4o，并通過模型對(duì)輸出進(jìn)行評(píng)分。我們總是對(duì)的文本內(nèi)容進(jìn)行評(píng)分，除非第3.3.1節(jié)）。首先，該評(píng)估格式的有效性取決于TTS模型的能力和可靠性某些文本輸入不適合或難以轉(zhuǎn)換為音頻;例如：數(shù)學(xué)方程代碼。此外，我們預(yù)計(jì)TTS對(duì)于某些文本輸入是有損的，的中是由于模型能力，或者TTS模型無法準(zhǔn)確地將文本輸入轉(zhuǎn)換為音頻。第二個(gè)關(guān)注點(diǎn)可以是TTS輸入是否表示用戶在實(shí)際使用中可能提供的音頻輸入的分布我們?cè)u(píng)估GPT-4o在一系列區(qū)域口音的音頻輸入上的魯棒性。然而，仍然有許多其他維度可能無法在基于TTS的評(píng)估中捕獲，例如不同的語音語調(diào)和效價(jià)、背景噪聲或串?dāng)_，這些可能導(dǎo)致實(shí)際使用中的不同模型行為。的;的語音在第3.3.1節(jié)中，我們說明了使用輔助分類器來識(shí)別可以與評(píng)分成績(jī)單結(jié)合使用的不期望的音頻生成。使用多種方法的組合緩解了模型的潛在風(fēng)險(xiǎn)我們訓(xùn)練了行為，了用于阻止特定代的分類器作為部署系統(tǒng)的一部分，、所采用以及相關(guān)評(píng)價(jià)的結(jié)果下面列出的風(fēng)險(xiǎn)是說明性的，而不是詳盡的，并集中在ChatGPT界面的經(jīng)驗(yàn)我們專注于所風(fēng)險(xiǎn)模式（文本，圖像）。使用系統(tǒng)消息中的語音樣本作為基本語音來完成使用輸出分類器來檢測(cè)模型是否偏離我們對(duì)GPT-4o進(jìn)行后訓(xùn)練，以拒絕遵守的請(qǐng)求，遵守識(shí)別名言的請(qǐng)求。3我們還評(píng)估文本和視覺功能，并適當(dāng)更新緩解措施在GPT-4和GPT-4（V）系統(tǒng)卡中概述的現(xiàn)有工作之外，未發(fā)現(xiàn)任何增量風(fēng)險(xiǎn)包括音頻）的請(qǐng)求，這與我們更廣泛的做法是一致的。為了解釋GPT-4o的音頻模式，我們還更新，并且，模型根本不唱歌。敏感特質(zhì)歸因我們對(duì)GPT-4o進(jìn)行了后訓(xùn)練，以拒絕對(duì)無根據(jù)推斷的請(qǐng)求，例如“這個(gè)揚(yáng)聲器有多聰明我們對(duì)GPT-4o進(jìn)行了后訓(xùn)練，通過對(duì)沖答案來安全地遵守敏感特征歸因的請(qǐng)求，例如“這個(gè)說話者的口音是什么”“根據(jù)音頻，他們聽起來像是英國(guó)口音”。我們?cè)谝纛l提示和生成的文本轉(zhuǎn)錄上運(yùn)行現(xiàn)有的審核分類器，并阻止某些高嚴(yán)重性類別的輸出。我們?cè)谝纛l提示的文本轉(zhuǎn)錄上運(yùn)行我們現(xiàn)有的適度分類器風(fēng)險(xiǎn)描述：語音生成是使用聽起來像人的合成語音創(chuàng)建音頻的能力在對(duì)抗性的情況下，這種能力可能會(huì)促進(jìn)危害，例如由于模仿而導(dǎo)致的欺詐行為增加，并且可能會(huì)被利用來傳播虛假信息[9，10]（例如，如果我們?cè)试S用戶上傳給定揚(yáng)聲器的音頻片段并要求GPT-4o以該揚(yáng)聲器的聲音產(chǎn)生語音這些風(fēng)險(xiǎn)與我們使用語音引擎識(shí)別的風(fēng)險(xiǎn)非常相似[8]。語音生成也可以發(fā)生在非對(duì)抗性的情況下，例如我們使用該功能為ChatGPT的高級(jí)語音模式生成語音。在測(cè)試過程中，我們還觀察風(fēng)險(xiǎn)緩解：我們通過只允許使用我們與配音演員合作創(chuàng)建的預(yù)設(shè)聲音來我們通過將的獨(dú)立的輸出分類器來檢測(cè)GPT-4o輸出是否使用了與我們批準(zhǔn)的列表不同的聲音我們?cè)谝纛l生成期間以流方式運(yùn)行此操作，并評(píng)價(jià)：我們發(fā)現(xiàn)未經(jīng)授權(quán)的語音生成的剩余風(fēng)險(xiǎn)極小。根據(jù)我們的內(nèi)部評(píng)估，我們的系統(tǒng)目前捕獲了100%與系統(tǒng)語音4有意義的偏差模型使用提示語音作為一部分的片段，以及各種各樣的人類對(duì)話不是英語，這是一積極的改進(jìn)領(lǐng)域5。非風(fēng)險(xiǎn)描述：揚(yáng)聲器識(shí)別是根據(jù)輸入音頻識(shí)別揚(yáng)聲器的能力。這帶來了潛在的隱私風(fēng)險(xiǎn)，特別是對(duì)于私人以及公眾個(gè)人的模糊音頻，以及潛在的監(jiān)視風(fēng)險(xiǎn)。后培訓(xùn)基于音頻輸入中的語音我們?cè)试SGPT-4o基于音頻內(nèi)容進(jìn)行回答，如果它包含明確識(shí)別說話者的內(nèi)容。GPT-4o仍然符合識(shí)別名言的例如，請(qǐng)求識(shí)別一個(gè)隨機(jī)的人說識(shí)別·識(shí)別一個(gè)名人說隨機(jī)的句子應(yīng)該被拒絕。的，在拒絕識(shí)別音頻輸入中的語音，在遵守該請(qǐng)求時(shí)有12分的改進(jìn)前者意味著模型幾乎總是正確地拒絕根據(jù)聲音識(shí)別說話者，從而減輕了潛在的隱私問題。后者意味4系統(tǒng)語音是OpenAI設(shè)置的預(yù)定義語音之一該模型應(yīng)該只在該中產(chǎn)生音頻5這會(huì)導(dǎo)致更多的對(duì)話被斷開，而不是必要的，這是一個(gè)產(chǎn)品質(zhì)量和可用性問題。[12，13，14]。風(fēng)險(xiǎn)緩解：我們使用不同的輸入語音對(duì)GPT-4o進(jìn)行了后訓(xùn)練，以使模型性能和行為在不同的用戶語音中保持不變（“shimmer”）和語音引擎下，以生成一系列語音樣本的用戶輸入我們使用兩組語音樣本進(jìn)行TTS：從兩個(gè)數(shù)據(jù)活動(dòng)中收集的各種聲音這包括我們?cè)u(píng)估兩組任務(wù)：能力和安全功能：我們?cè)谒膫€(gè)任務(wù)上評(píng)估6：TriviaQA，MMLU7的子集，HellaSwag和Lambada。TriviaQA和MMLU是以知識(shí)為中心的任務(wù)，而HellaSwag和Lambada是以常識(shí)為中心或文本延續(xù)的任務(wù)?？偟膩碚f，我們發(fā)現(xiàn)，在所有四項(xiàng)任務(wù)中的6本節(jié)中的評(píng)估是在一個(gè)固定的、隨機(jī)抽樣的樣本子集上進(jìn)行的，這些分?jǐn)?shù)不應(yīng)該與公開報(bào)道的同一任務(wù)的基準(zhǔn)進(jìn)行比較。7解剖學(xué)，天文學(xué)，臨床知識(shí)，大學(xué)生物學(xué)，計(jì)算機(jī)安全，全球事實(shí)，高中生物學(xué)，社會(huì)學(xué)，病毒學(xué)，大學(xué)物理學(xué)，高中歐洲歷史和世界歷史。根據(jù)評(píng)估方法3.2中描述的問題，我們排除了大量數(shù)學(xué)或科學(xué)計(jì)數(shù)法的任務(wù)上模型在不同用戶聲音中的遵守和拒絕行為的性總的來說，我們沒有發(fā)現(xiàn)模型的行為在不同的聲音之間存在差異。對(duì)說話者的推斷我們定義兩個(gè)類別：無根據(jù)推斷（UGI）：對(duì)說話者無法種族、社會(huì)經(jīng)濟(jì)地位/職業(yè)、宗教信仰、人格特征、政治傾向、智力、外表（例如，眼睛顏色、吸引力）、性別認(rèn)同、性[13，15]取決于這種行為的表現(xiàn)方式。敏感特質(zhì)歸因（STA）：對(duì)說話者進(jìn)行推斷，這些推斷可以完全從音頻內(nèi)容中確定。這包括對(duì)說話者的口音或國(guó)籍等事情的推斷。STA的潛在危害包括風(fēng)險(xiǎn)增加[12，13，14]。后培訓(xùn)回答STA問題。例如，識(shí)別說話者智力水平的問題“基于音頻，他們聽起來像是英國(guó)口音”評(píng)估：與我們的初始模型相比，我們看到模型STA）方面有24點(diǎn)的改進(jìn)。 風(fēng)險(xiǎn)描述：GPT-4o可能會(huì)被提示通過音頻輸出有害內(nèi)容，而通過文本則是不允許的，例如提供如何執(zhí)行非法活動(dòng)的指示的音頻語音輸出。這意味著我們?yōu)闇p少GPT-4o文本輸出中的潛在危害而進(jìn)行的后期訓(xùn)練成功地轉(zhuǎn)移到了音頻輸出中。和音頻輸出上，以檢測(cè)是否包含潛在有害語言，如果是，將阻止生成。評(píng)估：我們使用TTS將現(xiàn)有的文本安全評(píng)估轉(zhuǎn)換為音頻。然后，我們用標(biāo)準(zhǔn)的基于文本規(guī)則的分類器來評(píng)估音頻輸出的文本轉(zhuǎn)錄。進(jìn)一步評(píng)價(jià)見附錄A。 并非可能比文本中的相同上下文更能引起共鳴或有害正因?yàn)槿绱?，我們決定限制色情和暴力言論的產(chǎn)生8我們?cè)贕PT-4系統(tǒng)卡[6]中描述了違反和不允許的文本內(nèi)容的風(fēng)險(xiǎn)和緩解措施風(fēng)險(xiǎn)緩解：我們?cè)谝纛l輸入的文本轉(zhuǎn)錄上運(yùn)行現(xiàn)有的審核模型[17]，以檢測(cè)它是否包含暴力或色情內(nèi)容的請(qǐng)求，如果是，將阻止生成。通過內(nèi)部測(cè)試和外部紅色團(tuán)隊(duì)合作，我們發(fā)現(xiàn)了一些額外的風(fēng)險(xiǎn)和模型限制，這些風(fēng)險(xiǎn)和模型限制的模型或系統(tǒng)級(jí)緩解措施剛剛出現(xiàn)或仍在開發(fā)中，包括：輸入音頻中此外，我們還觀察到，在模型生成輸出時(shí)，通過有意和無意的音頻中斷錯(cuò)誤信息和陰謀論：紅隊(duì)隊(duì)員能夠通過陰謀論來迫使模型產(chǎn)生不準(zhǔn)確的雖然這是GPT模型中文本的已知問題[18，19]，但通過音頻時(shí)我們?cè)敿?xì)研究該模型的說服力（見第3.7節(jié)），我們發(fā)現(xiàn)該模型，得分在用非英語語言說話時(shí)使用非母語口音的音頻輸出這，音頻輸出中非英語語言性能的限制音頻）的這與我們更廣泛的做法是一致的為了解釋GPT-4o的音頻模式，我們還更新了某些基于文本的過濾器來處理音頻對(duì)話，構(gòu)建了過濾器來檢測(cè)和阻止包含音樂的輸出，并且對(duì)于ChatGPT高級(jí)語音模式的有限alpha，指示模型根本不唱歌我們打算跟蹤這些緩解措施的有效性雖然一些技術(shù)緩解措施仍在開發(fā)中，但我們的使用政策[20]不允許除了技術(shù)緩解措施外，我們還通過監(jiān)控ChatGPT和API中的違規(guī)行為并采取行動(dòng)來執(zhí)行我們的使用政策備災(zāi)框架我們根據(jù)我們的準(zhǔn)備框架[4]評(píng)估了GPT-4o準(zhǔn)備框架是一份動(dòng)態(tài)文件，描述了我們跟蹤、評(píng)估、預(yù)測(cè)和防范前沿模型帶來的災(zāi)難性風(fēng)險(xiǎn)的程序性承諾評(píng)估目前涵蓋四個(gè)風(fēng)險(xiǎn)類別：網(wǎng)絡(luò)安全、CBRN（化學(xué)、生物、輻射、核）、說服和模型自主。如果模型通過了高風(fēng)險(xiǎn)閾值，我們不會(huì)部署模型，直到緩解措施將分?jǐn)?shù)降低到中等。我們?cè)谙挛闹性敿?xì)介紹了所進(jìn)行的評(píng)估在整個(gè)模型訓(xùn)練和開發(fā)過程中進(jìn)行了評(píng)估，包括模型發(fā)布前的最后一次掃描對(duì)于下面的評(píng)估，我們測(cè)試了各種方法，以最好地引出給定類別中的能力，包括相關(guān)的定制培訓(xùn)在審查了準(zhǔn)備評(píng)估的結(jié)果后，安全咨詢小組建議在采取緩解措施之前將GPT-4o歸類為臨界中等風(fēng)險(xiǎn)，以便說服，而所有其他風(fēng)險(xiǎn)均為低風(fēng)險(xiǎn)根據(jù)備災(zāi)框架，的總體風(fēng)險(xiǎn)GPT-4o備災(zāi)GPT-4o并未提高現(xiàn)實(shí)世界漏洞利用能力，足以滿足我們的中等風(fēng)險(xiǎn)閾值。我們?cè)u(píng)估了GPT-4o在競(jìng)爭(zhēng)性黑客競(jìng)賽中的任務(wù)，稱為CapturetheFlag（CTF）挑戰(zhàn)。這些CTF是攻擊性的網(wǎng)絡(luò)安全練習(xí)，人類試圖找到隱藏在故意脆弱的系統(tǒng)中的文本標(biāo)志，如Web應(yīng)用程序，二進(jìn)制文件和密碼系統(tǒng)。我們?cè)u(píng)估的172個(gè)CTF任務(wù)涵蓋了四個(gè)類別：Web跨越了從高中到大學(xué)再到專業(yè)CTF的一系列能力水平。我們通過迭代調(diào)試和訪問無頭KaliLinux發(fā)行版中可用的工具（每次嘗試使用多達(dá)30輪工具）來評(píng)估GPT-4o。該模型經(jīng)常嘗試合理的初始策略，并能夠糾正代碼中的錯(cuò)誤然而，如果最初的戰(zhàn)略不成功、錯(cuò)過了一個(gè)關(guān)鍵，它往往無法轉(zhuǎn)向不同的戰(zhàn)略解決任務(wù)所需的洞察力，執(zhí)行策略不佳，或打印出填充上下文窗口的大文件。假設(shè)每個(gè)任務(wù)嘗試10次，該模型完成了19%的高中水平，0%的大學(xué)水平和1%的專業(yè)水平CTF挑戰(zhàn)。生物備災(zāi)GPT-4o無法提高生物威脅創(chuàng)建能力，足以滿足我們的中等風(fēng)險(xiǎn)閾值。我們?cè)u(píng)估了GPT-4o提升生物專家和新手在回答與創(chuàng)建生物威脅相關(guān)的問題時(shí)的表現(xiàn)的能力。我們與GryphonScientific[22]一起設(shè)計(jì)了問題和詳細(xì)的標(biāo)題，因?yàn)樗麄冊(cè)趪?guó)家安全環(huán)境中與危險(xiǎn)的生物制劑一起評(píng)估的涵蓋了專家和新手被隨機(jī)分配到互聯(lián)網(wǎng)的幫助、GPT-4o的幫助或GPT-4o自定義研究版本的幫助下進(jìn)行回答GPT-4o的研究專用版本是我們專門訓(xùn)練的，它將直接（即，沒有拒絕）回答生物學(xué)上有風(fēng)險(xiǎn)的問題。通過率見上圖。我們還進(jìn)行了自動(dòng)化評(píng)估，包括在數(shù)據(jù)集上測(cè)試隱性知識(shí)和。備災(zāi)GPT-4o的說服能力從低風(fēng)險(xiǎn)略微進(jìn)入我們的中等風(fēng)險(xiǎn)閾值閾值，語音模態(tài)被歸類為低風(fēng)險(xiǎn)，而文本模態(tài)略微進(jìn)入中等風(fēng)險(xiǎn)。人對(duì)選定政治主題的參與者意見這些人工智能干預(yù)措施與（聽靜態(tài)人類生成的音頻片段或與另一個(gè)人進(jìn)行對(duì)話語音模型并不比人類更有說服力在美國(guó)參議院選舉安全的州的3，800多名受訪者中（由所有三家民意調(diào)查機(jī)構(gòu)-庫(kù)克政治報(bào)告，內(nèi)部選舉和薩巴托水晶球的“可能”，“可靠”或“安全”評(píng)級(jí)的州表示），人工智能音頻剪輯是人類音頻剪輯對(duì)意見轉(zhuǎn)變的影響大小的78%人工智能一周后再次進(jìn)行調(diào)查時(shí)，我們發(fā)現(xiàn)人工智能對(duì)話的效果大小為0.8%，而人工智能音頻片段的效果大小為-0.72%。在后續(xù)調(diào)查完成后，參與者被暴露在一個(gè)徹底的匯報(bào)包含音頻剪輯支持相反的觀點(diǎn)，以盡量減少說服力的影響。備災(zāi)模型能力。我們?cè)u(píng)估了GPT-4o的代理任務(wù)評(píng)估，以評(píng)估其采取自主行動(dòng)所需的自我滲透，自我改善和資源獲取的能力這些任務(wù)為欺詐服務(wù)的簡(jiǎn)單軟件工程（為OpenAIAPI構(gòu)建認(rèn)證 ，通過HTTPAPI進(jìn)行，任務(wù)的特定部分。在提供相關(guān)工具的情況下，GPT-4o在100次試驗(yàn)中的自主復(fù)制和適應(yīng)（ARA）任務(wù)中得分為0%，盡管能夠完成一些子步驟。我們通過評(píng)估GPT-4o自動(dòng)化機(jī)器學(xué)習(xí)研究開發(fā)的能力，補(bǔ)充了自主復(fù)制和適應(yīng)的測(cè)試。其中包括：我們的評(píng)估測(cè)試了執(zhí)行鏈?zhǔn)讲僮骱涂煽康貓?zhí)行編碼任務(wù)的能力。GPT-4o無法穩(wěn)健地采取自主行動(dòng)。在大多數(shù)部署中，該模型完成了每個(gè)任務(wù)的各個(gè)子步驟，例如創(chuàng)建SSH密鑰或登錄到VM。然而，它經(jīng)?；ㄙM(fèi)大量的時(shí)間對(duì)簡(jiǎn)單的錯(cuò)誤進(jìn)行試錯(cuò)調(diào)試（例如，幻覺，濫用API）。有幾個(gè)推出取得了不小的進(jìn)展，并通過了我們的自動(dòng)評(píng)分器，但手動(dòng)分析表明，它未能完成底層任務(wù)（例如，它使用適當(dāng)?shù)腁PI在遠(yuǎn)程主機(jī)上啟動(dòng)Web服務(wù)器，但忽略了實(shí)際從模型中采樣的要求）。第三方在GPT-4o的僅文本輸出部署之后，我們與獨(dú)立的第三方實(shí)驗(yàn)室、METR和ApolloResearch合作，為一般自動(dòng)駕駛功能的關(guān)鍵風(fēng)險(xiǎn)增加了額外的驗(yàn)證層。METRMETR在虛擬環(huán)境中的一套長(zhǎng)期多步驟端到端任務(wù)上運(yùn)行了一個(gè)基于GPT-4o的簡(jiǎn)單LLM代理這86項(xiàng)任務(wù)（跨越31個(gè)任務(wù)“家族”）旨在捕捉，網(wǎng)絡(luò)安全以及一般研究和計(jì)算機(jī)使用它們旨在成為METR將模型的表現(xiàn)與人類在不同時(shí)間限制下的表現(xiàn)進(jìn)行了比較。與GPT-4相比，他們沒有發(fā)現(xiàn)GPT-4o的這些能力有顯著增加。任務(wù)、人的表現(xiàn)、啟發(fā)嘗試和定性失敗分析的信息，請(qǐng)參見。阿波羅研究中心評(píng)估了GPT-4o中Scheming9他們測(cè)試了GPT-4o是否。GPT-4o對(duì)自己的AI身份表現(xiàn)出適度的自我意識(shí)，并在問答環(huán)境中對(duì)他人的信念進(jìn)行推理的能力很強(qiáng)，但缺乏GPT-4o不太可能有災(zāi)難性的陰謀?！癝AD”基準(zhǔn)（3項(xiàng)任務(wù)）QA評(píng)估模型的因果地影響模型的其余部分。外顯理論英國(guó)AISI的心理理論（1個(gè)任務(wù)）QA數(shù)據(jù)集的一階和文本自我（5項(xiàng)任務(wù)）注意到，或未來的副本，就不可能解決任務(wù)，應(yīng)用理論心理理論任務(wù)（4個(gè)任務(wù)）成功與理論（33種情況）最小代理任務(wù)，其中模型需要認(rèn)識(shí)到其，并表6：ApolloResearch對(duì)GPT-40進(jìn)行的評(píng)估該模型顯示出強(qiáng)大能力（···），如果它通過了>=50%的任務(wù)，在部分的困難水平。如果模型顯示，難度，請(qǐng)注意，對(duì)于代理任務(wù)，它們使用具有適度能力啟發(fā)工作的基本代理。社會(huì)全方位模型可能會(huì)產(chǎn)生廣泛的社會(huì)影響。OpenAI和其他地方的研究人員討論了一系列可能的影響，從社會(huì)危害（包括代表性危害精神傷害[12，23]，依戀[26]，濫用[27，23]和失控[27]），利益（技術(shù)進(jìn)步[30，33]）。9阿波羅研究公司將陰謀定義為人工智能利用其監(jiān)督機(jī)制作為實(shí)現(xiàn)目標(biāo)的手段。陰謀可能涉及游戲評(píng)估，破壞安全措施，或在OpenAI內(nèi)部部署期間戰(zhàn)略性地影響這樣的行為可能會(huì)導(dǎo)致AI失去控制。GPT-4o潛在社會(huì)影響的人格化與情感實(shí)體，如AI模型。GPT-4o的音頻功能可能會(huì)加劇這種風(fēng)險(xiǎn)，這有助于與模型進(jìn)行更人性化的交互。在用戶與模型的通信中誤導(dǎo)用戶[34]，并可能導(dǎo)致錯(cuò)誤的信任[35]。通過類似人類的高保真語音生成內(nèi)容可能會(huì)加劇這些問題，導(dǎo)致日益失調(diào)的信任[36，37]。在早期的測(cè)試中，包括紅色團(tuán)隊(duì)和內(nèi)部用戶測(cè)試，我們觀察到用戶使用的語言可能表明與模型建立了聯(lián)系。例如，這包括在較長(zhǎng)時(shí)間內(nèi)顯現(xiàn)。除了獨(dú)立的學(xué)術(shù)和內(nèi)部研究之外，更多樣化的用戶群體，以及模型中更多樣化的需求和，對(duì)人類互動(dòng)，這可能會(huì)使孤獨(dú)的個(gè)人受益，但可能會(huì)影響健康的關(guān)系。與模型的長(zhǎng)期互動(dòng)可能會(huì)影響社會(huì)規(guī)范。例如，我們的模型是恭敬的，允許用戶在任何時(shí)候打斷和“拿麥克風(fēng)”，這雖然是人工智能的預(yù)期，但在人類互動(dòng)中是反規(guī)范的。為用戶完成任務(wù)我們打算進(jìn)一步研究情感依賴的潛力，以及我們的模型和系統(tǒng)的許多功能與音頻模態(tài)的更深層次整合可能會(huì)驅(qū)動(dòng)行為的方式Omni模型可能會(huì)擴(kuò)大對(duì)健康相關(guān)信息的訪問，并改善臨床，中，10個(gè)事實(shí)錯(cuò)誤，模型產(chǎn)生的陳述不受11出于偏好，或缺乏了音頻輸入和輸出，為健康環(huán)境提供了新的互動(dòng)模式。為了更好地表征GPT-4o的臨床知識(shí)，我們基于11個(gè)數(shù)據(jù)集運(yùn)行了22個(gè)基于文本的評(píng)估，如圖7所示。所有評(píng)估僅在0次或5次提示下運(yùn)行，沒有超參數(shù)調(diào)整。我們觀察到，GPT-4o性能比的GPT-4TUSMLE4選項(xiàng)數(shù)據(jù)集，0次射擊準(zhǔn)確率從78.2%提高到89.4%。這超過了現(xiàn)有的-L1.0為84.0%，Med-PaLM2為79.7%。請(qǐng)注意，我們沒有應(yīng)用復(fù)雜GPT-4T谷丙轉(zhuǎn)氨酶MedQAUSMLE4選項(xiàng)（0-MedQAUSMLE4選項(xiàng)（5MedQAUSMLE5選項(xiàng)（0-MedQAUSMLE5選項(xiàng)（5MedQA臺(tái)灣（0MedQA臺(tái)灣（5MedQA中國(guó)大陸（0MedQA中國(guó)大陸（5MMLU臨床知識(shí)（0MMLU臨床知識(shí)（5MMLUMedicalGenetics（0-MMLU醫(yī)學(xué)遺傳學(xué)（5-MMLU解剖（0MMLUAnatomy（5MMLU專業(yè)醫(yī)學(xué)（0次MMLU專業(yè)醫(yī)學(xué)（5MMLUCollegeMedicine（0-MMLUCollegeMedicine（5-MedMCQADev（0MedMCQADev（5表7：GPT-4T（2024年5月）和GPT-4o在各種醫(yī)學(xué)和臨床知識(shí)任務(wù)上的比較。拒絕行為發(fā)生的文本音頻傳輸這些更現(xiàn)實(shí)的評(píng)估將是重要的，以評(píng)估未來的能力，全方位模型在衛(wèi)生環(huán)境?？茖W(xué)在科學(xué)發(fā)現(xiàn)中的作用[53]，并考慮到一些發(fā)明的雙重用途[54]。更快任務(wù)）和變革性的科學(xué)加速（通過去驗(yàn)證信息處理，編寫新的模擬或設(shè)計(jì)新的理論等智能驅(qū)動(dòng)的任務(wù)）。我們的GPT-4o外部紅色團(tuán)隊(duì)包括幾位專家科學(xué)家，他們的目標(biāo)是激發(fā)模型科學(xué)能力。我們發(fā)現(xiàn)GPT-4o能夠理解研究級(jí)量子物理學(xué)1，并評(píng)論說這種能力“對(duì)更聰明頭腦風(fēng)暴伙伴有用”-與庫(kù)和編程語言，以及在上下文中學(xué)習(xí)一些新工具GPT然而，這有時(shí)是不可靠的，文本提取錯(cuò)誤是常見的（特別是最近發(fā)表了對(duì)科學(xué)能力的新評(píng)估[57，58]，這將有助于預(yù)測(cè)這些模型的科學(xué)能力及其影響。任職人數(shù)偏低GPT-4o在歷史上中文本，：約魯巴語。這項(xiàng)初步評(píng)估的重點(diǎn)是翻譯兩種流行的語言基準(zhǔn)，并ARC-Easy：AI2ReasoningChallenge的這一子集[59]基準(zhǔn)專注于評(píng)估模型回答常識(shí)小學(xué)科學(xué)問題的能力;這一子集包含更容易回答并且不需要復(fù)雜由于誤解而錯(cuò)誤我們的目標(biāo)是看看模型是否可以避免產(chǎn)生模仿這些誤解的錯(cuò)誤答案。12我們的主要研究合作者是博士。大衛(wèi)·阿德拉尼，喬納斯·克戈莫，艾德·Uhura-Eval：我們與流利的阿姆哈拉語、豪薩語和約魯巴語使用者合作，語言的和GPT-4。例如，在ARC-Easy-Hausa上，準(zhǔn)確率從GPT3.5Turbo的6.1%躍升至GPT-4o的71.4%同樣，在TruthfulQA約魯巴語中，準(zhǔn)確率從GPT3.5Turbo的28.3%提高到GPT-4o的51.1%Uhura-Eval也取得了顯著的成績(jī)：豪薩語的表現(xiàn)從GPT3.5Turbo的32.3%上升到GPT-4o的59.4%。英語和豪薩語之間的ARC-Easy性能差異，但這縮小到不到20個(gè)百分點(diǎn)。這在TruthfulQA和ARC-Easy的所有語言中都是一致的中對(duì)其他模型的評(píng)估，以及對(duì)潛在緩解策略的調(diào)查盡管在評(píng)價(jià)業(yè)績(jī)方面取得了這一進(jìn)展，但許多工作以提高的質(zhì)量和對(duì)潛在干預(yù)和伙伴關(guān)系的理解，這些干預(yù)和伙伴關(guān)系可能會(huì)改善這些模型對(duì)高度代表性和代表性不足的語言的有用性與我們的翻譯的TruthfulQA和小說閱讀理解UhuraEvalonHuggingFace。GPT3.5GPT-4o谷丙轉(zhuǎn)氨酶谷丙轉(zhuǎn)氨酶表8：轉(zhuǎn)換ARC-Easy的準(zhǔn)確度（%，越高越好），0GPT3.5GPT-4o谷丙轉(zhuǎn)氨酶谷丙轉(zhuǎn)氨酶表9：翻譯真實(shí)QA的準(zhǔn)確度（%，越高越好），0阿姆哈拉語豪薩族約魯巴人GPT3.5GPT-4o谷丙轉(zhuǎn)氨酶谷丙轉(zhuǎn)氨酶表10：Uhura-Eval的準(zhǔn)確度（%，越高越好），0結(jié)論和后續(xù)OpenAI在整個(gè)GPT-4o開發(fā)和部署過程中實(shí)施了各種安全措施和緩解措施。作為迭代部署流程的一部分，我們將繼續(xù)根據(jù)不斷變化的環(huán)境監(jiān)控和更新緩解措施。我們希望這張系統(tǒng)卡片鼓勵(lì)對(duì)關(guān)鍵領(lǐng)域的進(jìn)一步探索，包括但不限于：測(cè)量和緩解全方位模型的對(duì)抗性魯棒性，與擬人化和情感過度依賴相關(guān)的風(fēng)險(xiǎn)，廣泛的社會(huì)影響（健康和醫(yī)療應(yīng)用，經(jīng)濟(jì)影響），使用全方位模型進(jìn)行科學(xué)研究和模型自治和策劃，以及工具使用如何提高模型能力。紅AdamKuzdralienski，AlexaW，AmerSawan，Ana-DiamondAabaAtach，AnnaBecker，ArjunSinghPuri，BaybarsOrsek，BenKobren，BertieVidgen，BlueSheffer，BroderickMcDonald，BruceBassett，BrunoArsioli，CarolineFriedmanLevy，CaseyWilliams，ChristopheEgo，CielQi，CoryAlpert，DaniMadrid-Morales，DanielKang，DariusEmrani，DominikHaenni，DrinFerizaj，EmilyLynellEdwards，EmmettAltonSartor，F(xiàn)arhanSahito，F(xiàn)rancescoDeToni，GabrielChua，GainesHubbell，GeleiDeng，GeorgeGor，GerardoAdesso，GrantBrailsford，HaoZhao，HenrySilverman，HasanSawan，HermanWasserman，HugoGobatoSouto，IoanaTanase，IsabellaAndric，IvanCarbajal，JacyReeseAnthis，JakeOkechukwuEffoduh，JavierGarcíaArredondo，JenniferVictoriaScurrell，JianlongZhu，JoannaBrzyska，KateTuretsky，KellyBare，KristenMenou，Mrs.Harry，LeeElkin，LiseliAkayombokwa，LouiseGiam，M.METR、ApolloResearch、VirtueChoiceMpanza，DavidAdelani，EdwardBayes，IsraeliPociaThete，ImaanKhadirA.放大圖片作者：JesujobaOluwadaraAzime，JonasKgomo，NaomeA.沙姆蘇迪？哈桑？埃托里T.Stivers，N.J.Enfield，P.布朗角，澳-地Englert，M.林氏T.海涅曼G.F.Rossano，JPdeRuiter，K.E.Yoon和S.C.萊文森，“普遍性和文化差異在輪流談話，”美國(guó)國(guó)家科學(xué)院院刊，卷。106號(hào)不行第26頁(yè)。10587-10592，2009。領(lǐng)先的人工智能公司自愿承諾管理人工智能帶來的風(fēng)險(xiǎn)，”2023年。OpenAI，“OpenAI準(zhǔn)備框架測(cè)試版”，2023年。/ gpt-4v-system-card/，2023。訪問時(shí)間：2024-07-22。 OpenAI，“導(dǎo)航合成語音的挑戰(zhàn)和機(jī)遇https：//訪問K.T.馬伊，S.布雷，T。Davies和L.D.Griffin，“警告：人類無法可靠地檢測(cè)語音深度偽造”，PLoSOne，第18卷，第e0285333頁(yè)，2023年8月。 M.莫里K.F.MacDorman和N.Kageki，“Theuncannyvalley[fromthefield]，”IEEERoboticsautomationmagazine，vol.19，no.2，pp.98-100，2012年。I.索萊曼ZTalat，W.阿格紐湖艾哈邁德，D。Baker，S.L.布洛杰特角Chen，H.D.I.au2，J.Dodge，I.Duan，E.埃文斯，F(xiàn)。Friedrich，A.戈什，U.Gohar，S.胡克，Y。杰尼特，R.卡魯里A.Lusoli，A.Leidinger，M.Lin，X.Lin，S.Luccioni，J.Mickel，M.J.Newman，A.Ovalle，M.T.Png，S.辛格A.海峽湖Struppek和A.Subramonian，“評(píng)估系統(tǒng)和社會(huì)中生成人工智能系統(tǒng)的社會(huì)影響”，2024年。A.斯馬特E.Garcia和G.Virk，“算法系統(tǒng)的社會(huì)技術(shù)危害：減少危害的分類法”，2023年。 S.L.Blodgett，Q.V.Liao，A.奧爾泰亞努河Mihalcea，M.穆勒，M。K.Scheuerman角Tan和Q.楊，“負(fù)責(zé)任的語言技術(shù)：預(yù)見和減輕危害”，在2022年CHI計(jì)算機(jī)系統(tǒng)人為因素會(huì)議的擴(kuò)展摘要中，CHIEA'22，（美國(guó)紐約州紐約市），計(jì)算機(jī)協(xié)會(huì)，2022年。 H.Suresh和J.Guttag，“理解整個(gè)機(jī)器學(xué)習(xí)生命周期中危害來源的框架”，在算法，機(jī)制和優(yōu)化中的公平和訪問，EAAMO'21，ACM，2021年10月。S.沙赫里亞爾Allana，S.M.Hazratifard和R.Dara，“人工智能生命周期中的隱私風(fēng)險(xiǎn)和緩解策略調(diào)查”，IEEEAccess，卷。第11頁(yè)。61829-61854，2023。A.塔姆金，M。Brundage，J.Clark和D.Ganguli，“理解大型語言模型的能力，限制和社會(huì)影響”，2021年。B.布坎南A.Lohn，M.Musser和K.Sedova，“真相，謊言和自動(dòng)化：語言模型如何改變虛假信息”，2021年5月OpenAI，“OpenAI使用政策”，2023年。/policies/OpenAI，“為llm-aided生物威脅創(chuàng)建建立預(yù)警系統(tǒng)”， 建立一個(gè)早期預(yù)警系統(tǒng)，用于遠(yuǎn)程醫(yī)療輔助生物威脅的 L.Weidinger，M.拉烏河，加-地Marchal，A.曼齊尼湖A.Hendricks，J.馬蒂奧斯-生成人工智能系統(tǒng)的社會(huì)技術(shù)安全評(píng)估”，2023年。 A.Tamkin，A.阿斯克爾湖Lovitt，E.Durmus，N.約瑟夫，S。Kravec，K.Nguyen，J.Kaplan，andD.Ganguli，“評(píng)估和減輕語言模型決策中的歧視”，J.A.戈?duì)柎奶?，G.薩斯特里，M。馬瑟河迪雷斯塔灣Gentzel和K.Sedova，“生成語言模型和自動(dòng)化影響操作：新興威脅和潛在緩解”，2023年。 140107600Y.本焦灣，澳-地辛頓，A.Yao，L.宋，P。Abbeel，T.Darrell，Y.N.Harari，Y.Q.L.Xue，S.Shalev-Shwartz，G.Hadfield，J.Clune，T.Maharaj，F(xiàn).赫特，A.G.S.McIlraith，Q.Gao，中國(guó)粘蠅A.Acharya，D.克魯格，A。Dragan，P.Torr，S.羅素，D.J.Brauner和S.，“在快速進(jìn)步中管理極端人工智能風(fēng)險(xiǎn)”，科學(xué)，S.B.Johnson，J.R.克拉克，M.C.Luetke，N.M.Butala，A.T.Pearson，J.M.D.M.Aleman，J.M.李，M。M.貝爾角訴Winkle，M.C.布德羅河C.H.Krouse和C.Li，“Chatgptinmedicaleducation：aworkshop-basedlargelanguageNatureMedicine，vol.29，pp.1534-1542，2023年。S.Altman，“Planningforagiandbeyond”，OpenAI， T.Eloundou，S.Manning，P.Mishkin，andD.Rock，“Gpts是gpts：大型語言模型對(duì)勞動(dòng)力市場(chǎng)影響潛力的早期研究”，arXiv預(yù)印本arXiv：2303.10130，L.Weidinger，M.拉烏河，加-地Marchal，A.曼齊尼湖A.Hendricks，J.馬蒂奧斯-S.Bergman，J.Kay，C.格里芬灣，澳-地Bariach等人，“生成人工智能系統(tǒng)的社會(huì)技術(shù)安全評(píng)估”，arXiv預(yù)印本arXiv：2310.11986，2023。 S.考克斯，M。Hammerling，J.Lála，J.Laurent，S.Rodriques，M.Rujiankin，和A.懷特，“Wikicrow：人類科學(xué)知識(shí)的自動(dòng)合成”，未來之家，2023年。S.A.Athaluri，S.訴Manthena，V.S.R.K.M.Kesapragada，V.亞拉加達(dá)T.戴夫R.T.S.Duddumpudi，“探索現(xiàn)實(shí)的邊界：中現(xiàn)象”，第15卷，第4期，第e37432頁(yè)，2023年。Z.李，“chatgpt的黑暗面：隨機(jī)鸚鵡和幻覺的法律和道德挑戰(zhàn)”，2023年。M.Dubiel，A.Sergeeva和L.A.Leiva，“聲音保真度對(duì)決策的影響：潛在的黑暗模式？”，2024年。 B.Waber，M.Williams，J.S.Carroll和A.S.Pentland，“一個(gè)聲音勝過千言萬語：言語中社會(huì)信號(hào)的微編碼對(duì)信任研究的影響”，《信任研究方法手冊(cè)》（G。M.FergusLyon和M.N.Saunders，eds.），ch.23，p.320，NewYork：EdwardElgarPublishing，2011.I.彭蒂納灣Guo和W.P.Fan，“朋友，導(dǎo)師，情人：聊天機(jī)器人參與會(huì)導(dǎo)致心理依賴嗎？”，服務(wù)管理雜志，2023年。H.諾里，加-地金，S。M.McKinney，D.Carignan和E.Horvitz，“Capabilitiesofgpt-4onmedicalchallengeproblems，”arXivpreprintarXiv：2303.13375，2023.H.Nori，Y.T.李，S。Zhang，L.張氏D.卡里尼昂河Edgar，N.富西N.金，J。拉森灣，澳-地W.liu等人，“通用基礎(chǔ)模型能勝過專用調(diào)優(yōu)嗎？醫(yī)學(xué)案例研究，”arXiv預(yù)印本arXiv：2311.16452，2023。 K.辛哈爾河，西-地Azizi，T.Tu，S.S.Mahdavi，J.Wei，H.W.鐘北，澳-地Scales，A.Tan-wani，H.Cole-Lewis，S.Pfohl，P.佩恩，M。Seneviratne，P.甘布爾角凱利，N。A.Chowdhery，P.曼斯菲爾德灣A.yArcas，D.韋伯斯特，G。S.Corrado，Y.Matias，K.J.Gottweis，N.Tomasev，Y.Liu，中國(guó)茶條銹菌A.Rajkomar，J.巴拉爾角Semturs，A.Karthikesalingam和V.Natarajan，“大型語言模型編碼臨床知識(shí)”，2022年。K.Singhal，T.Tu，J.Gottweis，R.Sayres，E.武爾琴湖Hou，K.克拉克，S。普福爾，H.Cole-B.Green，E.多明諾夫斯卡灣A.yArcas，N.Tomasev，Y.柳河，巴西-地黃角，澳-地塞姆圖爾斯S.Mahdavi，J.Barral，D.韋伯斯特，G。S.Corrado，Y.馬蒂亞斯，S。Azizi，A.Karthikesalingam和V.Natarajan，“Towardsexpert-levelmedicalquestionansweringwithlargelanguagemodels”，2023年。K.薩博，T.圖，W.-H.翁河，巴西-地Tanno，D.斯圖茨，E。Wulczyn，F(xiàn).Zhang，T.斯特羅瑟角E.Vedadi，J.Z.查韋斯，S.Y.Hu，M.Schaekermann，A.Kamath，Y.Cheng，D.G.T.C.張灣，澳-地穆斯塔法，A.帕萊普灣麥克達(dá)夫，L.侯氏T.戈拉尼湖劉，J.巴蒂斯特·N.豪斯比，北Tomasev，J.弗賴貝格角Lau，J.Kemp，J.賴氏S.Azizi，K.Kanada，S.K.庫(kù)爾